Meta robots або
META ROBOTS або robots.txt?
Заборона індексації за допомогою файлу «robots.txt»
Один з варіантів, як це можна зробити - використовувати файл «robots.txt». Нижче наведено приклад цього файлу:
Директива «User-agent»
Як бачите, файл містить звернення до конкретного агенту пошукача через директиву «User-agent». Використовуючи її, Ви, скажімо, можете дозволити одному пошуковику індексувати сайт, а іншому ні. Або ж дозволити індексувати різним пошуковим системам різні сторінки сайту. Так само можна звернутися відразу до всіх агентам пошукових систем вказавши в якості значення для директиви «User-agent» символ «*». Таким чином пошукової агент, прочитавши файл «robots.txt» і не знайшовши в ньому вказівок для себе, буде шукати правила, описані для «User-agent: *».
Нижче наведено список деяких «User-agent» для різних пошукових систем:
- «Yandex» - агент пошукача «Яндекс».
- «Googlebot» - агент пошукача «Google».
- «Googlebot-Mobile» - агент пошукача «Google», сканує сторінки для включення в індекс для мобільних пристроїв.
- «Googlebot-Image» - агент пошукача «Google», сканує сторінки для індексу картинок.
- «Mediapartners-Google» - агент пошукача «Google», сканує сторінки для визначення вмісту «AdSense».
- «Adsbot-Google» - агент пошукача «Google», сканує сторінки, оцінюючи якість цільових сторінок для «AdWords».
- «StackRambler» - агент пошукача «Rambler».
Директива «Disallow»
А наступним чином можна закрити сайт для індексації всім пошуковим системам:
Досить часто виникає питання, треба чи ні ставити «слеш» після назви розділу, зазначеного в директиві «Disallow»? Справа в тому, що для пошукової системи www.example.ru/pda/ і www.example.ru/pda є абсолютно різними сторінками сайту, тому якщо програмне забезпечення сайту видає однаковий вміст як для www.example.ru/pda/ так і для www.example.ru/pda. то в «robots.txt» потрібно вказати:
Таким чином, ми закриємо обидва розділу від індексування для всіх пошукових систем.
Побічним ефектом останнього методу може стати те, що Disallow: / pda заборонить індексацію так само таких сторінок, як /pda.html. /pda-download.html і т. д. т. е. всіх сторінок, які починаються з pda і лежать до кореневої директорії сайту.
Наступний код не забороняє нічого, т. Е. Дозволяє індексувати всі сторінки сайту для всіх пошукових систем:
Зворотній за змістом директиві «Disallow» є директива «Allow». «Allow» дозволяє індексувати вказаний в ній розділ сайту. Припустимо нам потрібно заборонити індексування всього сайту, за винятком розділу / info /. У цьому випадку нам не потрібно перераховувати всі інші розділи в директивах «Disallow», щоб закрити їх від індексації. Правильним рішенням буде наступний код:
Таким чином ми дозволили всім пошуковим системам індексувати розділ сайту / info /. але заборонили індексувати всі інші розділи.
Директива «Host»
Директива «Sitemap»
Директива «Sitemap» вказує пошуковому агенту розташування файлу карти сайту «sitemap.xml». Це допоможе пошуковій системі швидше знайти файл карти сайту. У разі, якщо на Вашому сайті використовується кілька карт, то їх можна вказати наступним чином:
Перевірити, чи правильно складений файл «robots.txt» можна за допомогою спеціальної служби «Яндекса».
Часто виникає оману, що файл «robots.txt» допомагає індексувати Ваш сайт. Воно помилково. За допомогою файлу «robots.txt» можна дати пошуковику більше часу на індексацію корисних розділів Вашого сайту, але він не дає ніякої гарантії, що Ваш сайт буде проіндексований.
Тепер, нижче постараюся описати використання «meta тега robots».
Заборона індексації за допомогою «meta тега robots»
Отже, другий спосіб заборонити пошуковим системам індексувати сторінки сайту - це використовувати «META тега ROBOTS». Приклад використання:
В даному випадку, сторінка буде закрита для індексування пошуковими системами.
Приклади використання «meta тега robots»
noidex, nofollow
noindex, follow
index, nofollow
«Meta тег robots» має перевагу перед файлом «robots.txt». за умови, що в файлі індексування дозволено, а в meta тезі заборонено. Таким чином, можна, наприклад, забороняти індексацію методом виключень.
Загалом, начебто все, що хотів розповісти з приводу заборони індексування сторінок пошуковими системами. Може бути, в найближчому часі напишу статтю, яким чином можна програмно генерувати файл «robots.txt» при кожному запиті до нього, а так само опишу плюси і мінуси даного методу.
Control your index