Виды ботов на сайте: кто полезен, кто вреден, кто посередине

«Убрать всех ботов» — плохая цель. Половина автоматического трафика работает на вас, и без него сайт выпадет из поиска и перестанет показывать превью в мессенджерах.

Ниже — кто ходит по обычному сайту, от полезных к вредным.

Полезные

Поисковые роботы. YandexBot, Googlebot, Bingbot. Без них сайта в поиске не существует. Проверяются обратным DNS, блокировке не подлежат ни при каких настройках.

Краулеры соцсетей и мессенджеров. Telegram, VK, WhatsApp, Facebook — забирают заголовок и картинку для превью ссылки. Заблокируете — ссылки на ваш сайт станут выглядеть голым адресом.

Проверить их обратным DNS нельзя: они ходят из облаков. Разумный подход — уважать их заявку, но в рамках бюджета запросов: настоящему краулеру хватает нескольких обращений, а парсер под его именем упрётся в потолок.

Мониторинги доступности. UptimeRobot, Pingdom и подобные. Их блокировка приведёт к ложным тревогам о падении сайта.

Вебхуки платёжных систем. Формально это тоже автоматические обращения. Цена ошибки максимальная: заблокированный вебхук означает оплаченный, но не принятый заказ.

Нейтральные

SEO-сервисы. Ahrefs, Semrush и аналоги обходят сайты для своих индексов ссылок. Пользы вам от них прямой нет, вреда тоже — кроме нагрузки. Решать вам.

Архивные краулеры. Internet Archive, Common Crawl.

ИИ-краулеры. GPTBot, ClaudeBot и другие собирают тексты для обучения моделей. Обмен неочевиден: трафик они возвращают редко. Если контент — ваш основной актив, есть смысл закрыть; если продаёте товар, упоминание в ответе чат-бота работает на узнаваемость.

Вредные

Парсеры каталогов. Выкачивают цены, описания, характеристики. Отличаются темпом, последовательным обходом и тем, что не грузят картинки и стили.

Сканеры уязвимостей. Ходят по /.env, /.git, /wp-config.php.bak в поисках забытых файлов. Шумные и легко узнаваемые: за такими путями не может стоять живой посетитель.

Переборщики паролей. Круглосуточно долбятся в админку. Отличаются от владельца сайта только количеством попыток.

Спам-боты. Заполняют формы обратной связи, комментарии, регистрации. Ловятся ловушкой и замером скорости заполнения.

Клик-фрод. Кликают по рекламе, за которую вы платите. Видны по поведению на сайте: заход по рекламной метке без единого признака живого браузера.

Накрутка поведенческих факторов. Имитируют посетителей, чтобы испортить или улучшить сигналы для поиска. Самые дорогие в изготовлении и самые трудные для обнаружения.

Как их различают на практике

Не по одному признаку, а по совокупности.

Полезные роботы подтверждаются: обратным DNS или бюджетом запросов. Вредные выдают себя: библиотекой в User-Agent, темпом, отсутствием сопутствующих запросов, обращениями туда, куда живой посетитель не ходит.

И у любого правила есть исключения, поэтому вес одиночного признака ограничивают. Ошибка в одну сторону стоит вам трафика, в другую — покупателя. Цена несимметрична, и защиту настраивают исходя из этого.