Пошуковий робот (також англ. web crawler, англ. web spider) — програма, що є складовою частиною пошукової системи та призначена для перегляду сторінок інтернету з метою введення інформації про них (ключових слів) до бази даних.
Пошукові роботи здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.
Як закрити сайт від індексації
- За допомогою файла robots.txt
- За допомогою мета-тегу
Посилання
|
---|
| Глобально |
|
---|
| Локально |
|
---|
| Види сайтів і серівісів |
|
---|
| Створення та обслуговування |
|
---|
| Типи макетів, сторінок, сайтів |
|
---|
| Технічне |
|
---|
| Маркетинг |
|
---|
| Соціум і культура |
|
---|
|