Html мета-тег robots
МЕТА тег robots служить для того, щоб дозволяти або забороняти роботам, що приходять на сайт, індексувати дану сторінку. Крім того, цей тег призначений для того, щоб пропонувати роботам пройтися по всіх сторінках сайту і проіндексувати їх. Крім того, цим тегом можуть скористатися ті, хто не має доступу до кореневого каталогу сервера і змінити файл robots.txt, але хоче заборонити до індексування свої файли і директорії.
Формат мета-тега Robots
МЕТА тег robots поміщається в тег html-документа (всередині тега
). Формат досить простий (реєстр букв значення не грає)Наприклад, не індексувати даний документ:
Для одночасного заборони індексування сторінки і обходу посилань з неї використовуйте Якщо значень кілька, то вони розділяються комами.
Щоб заборонити індексування сторінки на вашому сайті тільки роботам Google і дозволити її індексування іншим роботам, використовуйте наступний тег: Щоб дозволити роботам індексувати сторінку, але заборонити індексування картинок на сторінці, використовуйте наступний тег:
Google автоматично створює і архівує "знімок" кожної сканируемой сторінки. Версія, збережена в кеші, дозволяє показувати вашу сторінку кінцевим користувачам, навіть якщо вихідна сторінка недоступна (через тимчасову технічної проблеми на веб-сервері). Збережена в кеші сторінка представляється користувачам у тому вигляді, в якому її в останній раз просканував робот Google, при цьому у верхній частині сторінки ми показуємо повідомлення про те, що це версія з кешу. Користувачі можуть отримати доступ до кешованої версії, натиснувши на посилання "Збережено на сервері", розташовану на сторінці результатів пошуку.
Щоб заборонити всім пошуковим системам виводити цю посилання на ваш сайт, додайте в розділ
Наступного тег: Щоб заборонити виводити посилання "Збережено на сервері" тільки системі Google, а іншим дозволити, використовуйте наступний тег: Примітка. Цей тег видаляє лише посилання "Збережено на сервері" на відповідну сторінку. Google продовжить індексувати сторінку і виводити її фрагмент.Запобігання сканування чи видалення фрагментів
Щоб заборонити Google виводити фрагменти з вашої сторінки, додайте в розділ
Наступного тег: Примітка. При видаленні фрагментів видаляються також і збережені в кеші сторінки.Як зробити так, щоб пошукові системи не використовували дані DMOZ в результатах пошуку для вашого сайту
Одним з джерел, які використовуються при створенні фрагментів описів, є Open Directory Project. Щоб ніякі пошукові системи (підтримують метатеги) не використали цю інформацію для опису сторінки, додайте наступний тег:
Щоб тільки для Google заборонити використовувати цю інформацію в описі сторінки, додайте тег:
Якщо метатег "robots" використовується для інших команд, їх можна об'єднати. приклад:
Приклад використання опису:
пошукові заборони
Як сказати пошуковій машині, що певну ділянку коду не потрібно індесіровать або що по певному посиланню не потрібно слідувати?
Кожен пошуковик тут винаходить свій велосипед: Yandex рекомендує укладати подібний текст в теги
тег NOINDEX
Заборонити індексування можна не тільки для файлів, але також і для їх частин. Для того, щоб заборонити індексування певних частин файлів (текстових), необхідно позначити їх спеціальними тегами .
При цьому, тег NOINDEX не повинен порушувати вкладеність інших тегів. Розуміє тільки ПС Яндекс.
rel = "nofollow"
Якщо вам необхідно зменшити кількість зовнішніх посилань на сторінці, укладіть їх в теги або тут посилання
Використані матеріали з сайтів пошукових систем: Google
class = "robots-nocontent"
Застосування "class = robots-nocontent" атрибут:
Нижче наводяться кілька прикладів того, як застосовувати цей атрибут для різних цілей і різних варіантів синтаксису:
Як часто індексувати документ пошуковому роботу?
Веб-майстер може "сказати" пошуковому роботу або файлу bookmark користувача, що вміст того чи іншого файлу буде змінюватися. У цьому випадку робот не буде зберігати URL, а браузер користувача внесе або не внесе це файл в bookmark. Поки ця інформація описується тільки у файлі /robots.txt, Користувач не знатиме про те, що ця сторінка буде змінюватися.
Мета-тег DOCUMENT-STATE може бути корисний для цього. За замовчуванням, цей мета-тег приймається з CONTENT = STATIC.
Як виключити індексування пошуковою системою генеруються сторінок або дублювання документів, якщо є дзеркала сервера?
Генеруються сторінки - сторінки, що породжуються дією CGI-скриптів. Їх напевно не слід індексувати, оскільки якщо спробувати провалитися в них з пошукової системи, буде видана помилка. Що стосується дзеркал, то негоже, коли видаються дві різні посилання на різні сервера, але з одним і тим же вмістом. Щоб цього уникнути, слід використовувати мета-тег URL із зазначенням абсолютного URL цього документа (у разі дзеркал - на відповідну сторінку головного сервера).