Пошуковий індекс поняття і різновиди
Кожна пошукова система для здійснення швидкого і якісного пошуку інформації проводить індексацію сайтів мережі за певним алгоритмом. Інформація про індексацію заноситься в базу даних, яка і називається пошуковим індексом. Сам процес збору та систематизації такої інформації про сайт називається його індексацією. Розглянемо що таке пошуковий індекс і з чим його їдять.
Програма, яка здійснює пошук і збір інформації, називається роботом-индексатором.
Найбільшу увагу в процесі індексації пошукові системи приділяють розміщень ключових слів і фраз на сайті, вихідних посилань. Також можуть індексуватися і зображення (найчастіше, для цього використовується інший робот-індексатор).
Після обробки отриманих даних в базі і їх систематизації ця інформація стає доступною для пошуку. Постійне оновлення баз індексованих сторінок визначає часта зміна їх кількості для кожного сайту.
Виділяють два різних способів індексації - автоматичний і ручний
При автоматичної індексації всі роботи по вибору індексованих сторінок і їх занесенням в індексну базу виконують програми.
Для управління роботою роботів-індексаторів стосовно кожного сайту буде використано стандартні, які зберігаються в спеціальному файлі robots.txt. З їх допомогою можна дозволити або заборонити індексацію певних сторінок.