Мета тег robots і файл - як управляти індексацією сторінок сайту, блог seo дилетанта
Доброго часу доби, шановні Новомосковсктелі. Задумала я тут поділитися з вами одним цікавим матеріалом на тему внутрішньої оптимізації WordPress, а саме про установку мета тегів, і зрозуміла, що щоб вийшов гарний матеріал, необхідно прояснити ситуацію з тим, що таке мета тег Robots.
Що таке мета тег Robots
Метатег Robots - це тег, за допомогою якого ми можемо управляти індексацією свого блогу, вказуючи заборонні команди для кожної окремої сторінки.
До слова, немає єдиного написання слова "мета тег". Навіть Яндекс і Google по різному їх пишуть в своїх довідкових матеріалах. Мета тег, Метатег і Метатег - все це одне слово і використовується в мережі одночасно. При цьому в довідці Яндекс він має написання Метатег, а в Google - Метатег. Давайте спочатку розберемося, яким взагалі буває мета тег Robots. Незалежно від того, вказуєте ви цей метатег чи ні, його значення завжди - "all", що означає індексувати. Тобто є три "стану" даного мета тега:
- Повна його відсутність.
Все це означає, що сторінка буде проіндексована. Тому якщо вам не потрібно забороняти сторінку до індексації, то використовується перший варіант, тобто взагалі нічого не використовуємо. Якщо ж ви хочете повністю заборонити сторінку до індексації, то запис буде такий:
або коротший варіант
Як ви думаєте, чому значення має два параметри - index / noindex і follow / nofollow?
Ось в цьому, а також в самому визначенні криється одна значна перевага мета тега Robots перед однойменним файлом.
Якщо ви порівняєте обидва визначення, то побачите, що вони, практично, однакові. Але при цьому мають невелике розходження.
Так, обидва способи - створення файлу або вказівка мета тега - одне і теж, виконують абсолютно однакові функції і мають абсолютно однаковою значимістю. Іншими словами можна сказати, що одне важливіше іншого. Вони абсолютно рівнозначні. Але як вже сказала, в них є деякі відмінності.
Взагалі метатеги були придумані не в противагу файлу, а для полегшення життя тим вебмайстрам, які не мають доступу до кореневих папок свого сайту, як це, наприклад, відбувається на Blogger. Тобто самі пошуковики рекомендують налаштовувати файл Robots.txt коли є доступ до папок сайту, якщо ж такого доступу немає, то рекомендується використовувати метатег.
Переваги файлу Robots.txt перед мета тегом
На мій погляд перевага полягає в тому, що в файлі Robots.txt ми можемо вказувати цілі каталоги свого сайту, заборонити до індексації відразу все теги, рубрики і будь-які інші каталоги. При чому ця заборона виставляється єдиним рядком. Якщо ж ми хочемо заборонити по всій Директорії, але при цьому дозволити до індексації одну-дві сторінки, то так само в файлі ми можемо налаштувати виключення. Про все це я писала в статті, на яку дала посилання вище, тому зараз коротко передаю суть.
Як же справи йдуть з мета тегом? Мета тег неможливо виставити один раз відразу всьому каталозі, він встановлюється для кожної сторінки окремо. Тобто їм зручно користуватися тоді, коли на вашому сайті ви з кожною новою публікацією вирішуєте, вирішувати пошуковому роботу індексувати дану сторінку чи ні.
Особисто мені складно уявити такий сайт, де могло б це знадобитися. Але факт залишається фактом. Якщо ви не налаштовуєте файл Robots.txt, але при цьому багато сторінок закриваєте від індексації, то кожен раз вам потрібно бути напоготові, щоб не забути закрити сторінку від індексації. Погодьтеся, це незручно.
Якщо ви вільні від такої рутини, то завжди значно зручніше і простіше налаштувати один раз і назавжди файл Robots.txt і більше про це не думати.
Переваги мета тега Robots перед файлом або, коли краще використовувати мета тег
Я вже звернула вашу увагу на те, що мета тег можна виставляти кожної окремої сторінці, так само значну перевагу нам можуть дати різні команди index / noindex і follow / nofollow, які можна застосовувати в мета тезі, і при певних обставинах все це є великою перевагою перед файлом.
Ситуація 1. Ви публікуєте неунікальний контент. Не обов'язково це має бути копіпаст (крадений контент), це можуть бути якісь офіційні документи, законодавчі акти, статті кодексів, тобто будь-які матеріали, які створять на вашому сайті велика кількість неунікального контенту, при цьому сторінки з неунікальним контентом не мають окремого каталогу, а розміщуються в упереміш з основним контентом. Такі сторінки ви можете заборонити до індексації, як повністю, вказавши мета тег
так і частково, заборонивши індексувати тільки контент, але дозволивши індексувати посилання.
або рівнозначна їй запис
Таким чином ви можете використовувати значення мета тега з ситуації 1 для внутрішньої перелінковки на сайті. КАк правильно розрахувати внутрішній вага сторінок і зробити перелинковку, я писала в статті Як перевірити і зробити правильно перелинковку на сайті. якщо ж ви ще не знаєте, що таке перелинковка, то рекомендую спочатку ознайомитися зі статтею - Секрети перелинковки.
Якщо ви вивчите довідкові матеріали пошукових систем, зокрема Яндекс і Google про це мета тезі, то дізнаєтеся, що він може мати й інші значення, крім index і follow (індексувати і не індексувати).
Так, наприклад Яндекс і Google, крім озвучених мета Robots, розуміє ще й команду noarchive
І останнє, на що я хочу звернути вашу увагу особливо.
Для будь-якої пошукової системи абсолютно не важливо, яким чином ви вказуєте команди для індексації, у файлі robots.txt або в метатеге robots, а ось якщо ви в різних випадках використовуєте суперечать один одному команди, наприклад в файлі robots.txt сторінка заборонена до індексації, а ви вручну проставляєте мета тег зі значенням "all" або навпаки, то пошуковий робот врахує більш сувору команду і це завжди буде noindex, тобто робот врахує забороняє директиву і не буде індексувати сторінку. Тому будьте уважні, якщо одночасно використовуєте на сайті обидва варіанти robots.
Отже, все це я пояснювала для того, щоб ви розуміли різницю між файлом robots.txt і мета тегом robots. Уміння управляти своїм сайтом є важливою сходинкою в загальній розкрутці сайту в інтернеті. Щоб ви могли самостійно вирішувати, який із способів і коли використовувати на своєму сайті. А також ці знання вам допоможуть при прочитанні моєї наступної статті, заради якої я і затіяла цю. Так що не пропустіть, буде цікаво.
Навігація по публікаціям
Корисна інформація. Я мета тегом не користувався ніколи, користувався Роботс. Поекспериментуйте тепер з цим тегом.
Дякую за докладно викладену інформацію, рідко таке зустрінеш.
Veľmi dobrá stránka a veľmi dobré články. Natrafil som na túto stránku náhodou, keď som na webe hľadal popis inštalácie phpbb seo a článok o inštalácii tohoto mod-u mi pomohol. Ďakujem
Vlado, Bratislava, Slovensko 🙂
Підкажіть якщо на сторінці яка вже є в пошуку в коді вказати таке поєднання meta name = "robots" content = "noindex, follow», це допоможе сторінці піти з пошуку?
Справа в тому що в мене в одних сторінках прописано meta name = "robots" content = "noindex» а на інших meta name = "robots" content = "noindex, follow», ці сторінки є дублями і я хочу що б вони зникли з пошуку, чи допоможе це? або треба конкретно вказувати noindex, nofollow?
Скрізь йдеться про те що даний спосіб допоможе закрити від індексу, але пропадуть чи з пошуку сторінки які там є?
Заздалегідь дякую.
Підкажіть якщо на сторінці яка вже є в пошуку в коді вказати
таке поєднання meta name = "robots" content = "noindex, follow», це
допоможе сторінці піти з пошуку?
Справа в тому що в мене в одних сторінках прописано meta name = "robots"
content = "noindex» а на інших meta name = "robots" content = "noindex,
follow », ці сторінки є дублями і я хочу що б вони зникли з
пошуку, чи допоможе це? або треба конкретно вказувати noindex, nofollow?
Скрізь йдеться про те що даний спосіб допоможе закрити від індексу, але пропадуть чи з пошуку сторінки які там є?
А що такого станеться якщо закрити index.php через директиву disalow в robot.txt? Я наприклад закрив, і яндекс відсіяв все непотрібні дублі сторінок з index.php, залишив тільки потрібні. Але правда google вебмастер теж пише, що ви закрили важливу сторінку. Але ця сторінка саме дубль головної. Так що я думаю все в порядку. Або все-таки я помиляюся?
На перший своє питання ви відповіли самі: Google лається. Взагалі згідно з останніми дослідженнями, файл robots.txt для google повинен бути максимально відкритим. Якщо розставляти по пріоритетам, то 301 редирект вважається найбільш правильним рішенням, на другому місці - канонікал і тільки на третьому місці Роботс (з точки зору пошукових систем). Грубо - можна використовувати будь-який із способів, але перший завжди буде найкращим.