Як правильно скласти файл robots txt - безкоштовно для сайту
Правильний robots txt - один з важливих моментів пошукової оптимізації. необхідної для просування сайту в топ.
Однією з функцій файлу є заборона індексації всіх зайвих сторінок блогу.
Пошукові системи один і той же веб ресурс з www і без www сприймають, як різні сайти. Виявивши, що їх вміст нічим не відрізняється, пошукові системи «склеюють» сайти.
Щоб цього не відбувалося, рекомендується в файлі robots.txt позначити головне дзеркало.
До переходу на сайт
Після переходу на сайт
Значить, для мого сайту головне дзеркало - без www. Сподіваюся, зрозуміло пояснила.
Приклад правильного robots.txt для мого сайту на WordPress
У цьому файлі від індексації закриті всі ті розділи, які не повинні враховуватися пошуковими системами.
- Все це треба прописати в текстовому документі з розширенням .txt, тобто, дати файлу назву robots.txt. Тільки, не забудьте, поміняти seitostroenie.ru на дані свого сайту.
- Потім цей файл треба розмістити в корені блогу, в ту ж папку, де знаходиться wp-content.
А тепер розглянемо більш детально, що означають в документі кожний з рядків.
User-agent: * - створення правила для всіх пошукових систем;
User-agent: Yandex - для Яндекса;
Заборонити доступ роботів до розділів:
Щоб задати основне дзеркало блогу прописуємо:
Проблеми з індексацією
Якщо на сайті не налаштовані ЧПУ, то з індексацією можуть бути проблеми:
Рядок - Disallow: / *? * Закриває від індексації такі сторінки, так як посилання на ці пости виглядають приблизно так: site.ru/?p=665.
Щоб це виправити, видаляємо ці рядки.
Перевірка robots.txt
і натискаємо "Завантажити robots.txt з сайту", з'явиться наступне повідомлення:
Отримуємо результат, що все в порядку:
Для Рунета самої часто зустрічається завданням є створення файлу robots.txt для Яндекса. так як зараз Яндекс - найпопулярніша пошукова система. Важливо вміти правильно використовувати директиву Host. яку дотримується цей пошуковик.
Відправляючи будь-яку форму на сайті, ви погоджуєтеся з Політикою конфіденційності
ВИКОРИСТАННЯ ТЕКСТУ ТІЛЬКИ З активним посиланням на першоджерело