Експеримент з meta-тегом robots - devaka seo блог
Цей результат виявився дивним, так як в документації Яндекса є явний приклад з використанням мета-тега robots "noindex, follow". Можливо, пройшло мало часу, перш ніж робити висновки, або десь в експерименті була допущена помилка, а може бути Яндекс, дійсно, враховує все не так, як рекомендує використовувати.
У зв'язку з цим було вирішено повторити експеримент, при цьому зменшити різні заперечення:
- Використовувати більше сторінок, щоб зробити вибірку репрезентативною.
- Дочекатися більш повної індексації сторінок експериментального сайту. Поставити додаткові посилання для прискорення індексації, при необхідності.
- Перевірити маршрут пошукових роботів по серверних логів access_log.
проведення експерименту
У розділи, які мають більшу невизначеність в індексації, було додано більше тестових сторінок. Всього сайт містив 14 (і 2 додаткові) унікальні сторінки. Для поддомена налаштоване журнал запитів.
результати
Google, як і очікувалося, проіндексував сторінки "/ index / nofollow /", "/ index / follow /", а також всі з розділу follow (3, 4, 5 і 9). Сторінки з розділів nofollow не були за цей час в індекс.
Якщо подивитися логи і відібрати з них лише запити гугла до розділу nofollow, то ми побачимо, що він чітко дотримується правил мета-тега robots:
По суті, Google відразу ж в перший день пробігся по всім дозволеним сторінок.
В індекс Яндекса потрапили сторінки 1, 2, 3, 4 і 5 з розділів noindex-follow і noindex-nofollow. При цьому, не потрапили сторінки з розділу index (скоріше за все просто не встигли проіндексувати, як мінімум документ в index-follow в експерименті Ігоря індексувався).
Якщо подивитися серверні логи, то в них видно, що в перший день Яндекс просканував основні розділи, що знаходяться в на 2м рівні вкладеності. Але на наступний день він просканував майже всі документи в цих розділах, ігноруючи лише сторінки 6, 7 і 8 (з розділу "index, nofollow").
Таким чином, можна зробити висновок, що Яндекс сприймає інструкції в meta-robots наступним чином:
Початкова гіпотеза підтвердилася в повному обсязі. Якщо Google сприймає правила коректно, то в Яндексі залишається питання з розділом "noindex, nofollow", в якому іноді закривають лінкопомийки. Що стосується "noindex, follow", то на відміну від експерименту Ігоря, тут Яндекс все інтерпретував коректно і проіндексував документи.
SEO-аналітик, консультант. Завжди в курсі нових тенденцій на ринку SEO.
Я деколи взагалі логіку ботів яндекса не розумію. при наявності двох статей однієї тематики однаково оптимізованих, одну він робить чи не основною розділу а іншу півтора місяці взагалі не індексує, хоча парадокс сто гугл що яндекс створювали Украінане мабуть в Яшке чогось не вистачає, правильно говорять краще бути першим ніж бути краще
Гугл їсть все і заборони для нього не бар'єр, в той же час Яндекс розумом не зрозуміти, в одному випадку приймає всі умови документа, в іншому тупо їх ігнорує, а що ще гірше - може йти коригування від апу до апу.
Щодо Google я з Вами погоджуся Сергій, а при цьому я ще натрапив на детальний опис трьох алгоритмів гугла, пінгвіна, панди і колібрі і мене туга охопила що може статися з сайтом після того як він вилізе з пісочниці, про наш Яндекс можу сказати тільки одне його основна риса непередбачуваність як втім і у нашого українського народу
Як показала моя практика, роботи роблять все на свій розсуд. З гуглом все простіше і зрозуміліше, з Яшою - все складно ... ((правильно писали вище - логіку важко зрозуміти.
Тобто по суті результат по Яндексу все одно залишився в повному обсязі визначено?
Логіка (noindex, nofollow) типова для нашого брата, якщо закрито, значить обов'язково потрібно подивитися, став би адміністратор сайту закривати щось цінне.