Обратный DNS с перепроверкой
Способ подтвердить, что адрес действительно принадлежит заявленному роботу: адрес → имя → обратно адрес.
Проверка в два шага, и оба обязательны.
Шаг первый. По адресу посетителя запрашивается его имя (запись PTR).
Настоящий Googlebot ответит именем в зоне googlebot.com или
google.com, YandexBot — в зонах yandex.ru, yandex.net,
yandex.com.
Шаг второй. Полученное имя резолвится обратно, и адрес должен совпасть с исходным.
Второй шаг нужен потому, что владелец адреса может прописать в PTR что
угодно, хоть googlebot.com. А вот заставить зону googlebot.com
указывать на свой адрес он не может — для этого нужно владеть зоной.
Проверка стоит одного запроса к DNS и кэшируется надолго: адреса роботов меняются редко.
Если робот заявлен, а проверка не сошлась — это не «не подтвердилось». Это активная попытка обмана и довод против посетителя.
Смежные термины
Подробнее в блоге
- Семь ошибок при настройке защиты от ботов Каждая из них выглядит разумно в момент настройки и обнаруживается спустя недели, когда убытки уже посчитаны.
- Облачная защита или модуль на сайте: чем отличаются подходы Один требует передать управление трафиком, второй ничего не меняет в его маршруте. У каждого свои сильные стороны и своя цена — о них и пойдёт речь.
- Как выбрать сервис защиты от ботов: чек-лист вопросов Все обещают 99,9% точности, и это ничего не говорит. Собрали вопросы, ответы на которые действительно различают сервисы.