Поисковый робот
Краулер поисковой системы, индексирующий сайт. Блокировать его — значит выпасть из выдачи.
YandexBot, Googlebot, Bingbot и другие обходят сайт, скачивают страницы и передают их в индекс. Без них сайта в поиске не существует.
Главная опасность при настройке защиты — заблокировать настоящего робота. Последствия отложенные и тяжёлые: страницы выпадают из выдачи в течение недель, а возвращаются месяцами.
Вторая опасность зеркальная: пропустить всех, кто именем робота прикрылся. Подделать строку User-Agent — вопрос одной строки кода, и приём этот стар как сам интернет.
Единственный надёжный способ различить — проверка обратным DNS.
Смежные термины
Подробнее в блоге
- Сайт под атакой ботов: что делать прямо сейчас Короткая инструкция для ситуации, когда разбираться некогда: сайт тормозит или лёг, и подозрение на ботов.
- ИИ-краулеры на сайте: GPTBot, ClaudeBot и другие Новый класс роботов, про который два года назад никто не думал. Кто это такие, чем отличаются от поисковиков и что даёт решение их закрыть.