Защита сайта от парсинга
Парсер отличается от покупателя не тем, что он смотрит, а тем, как. Человек открывает несколько товаров и уходит думать. Программа обходит каталог подряд, страницу за страницей, не трогая ни картинок, ни стилей.
Что происходит без защиты
Цены конкурента всегда чуть ниже
Автоматический мониторинг цен позволяет конкуренту подстраиваться под вас в тот же день. Вы делаете работу по ценообразованию, а выигрывает тот, кто её у вас списывает.
Каталог уезжает целиком
Описания, характеристики и фотографии, в которые вложены месяцы работы, оказываются на чужом сайте. Поисковик при этом может посчитать первоисточником не вас.
Сервер под нагрузкой без выручки
Обход каталога в несколько потоков даёт нагрузку, сравнимую с распродажей, — только без единого заказа.
Как это работает
-
1
Считаем частоту, а не факт визита
Наказывать за просмотр каталога нельзя — им занимаются покупатели. Мы смотрим на темп: сколько страниц в минуту и в час, и как они идут друг за другом.
-
2
Отдаём проверку, а не отказ
В спорном случае посетитель получает проверку браузера. Человек проходит её за долю секунды, а парсер на ней останавливается: решать задачу на каждой из тысяч страниц ему невыгодно.
-
3
Мягкие меры вместо отказа
Если блокировать не хочется, можно замедлять ответ или отдавать страницу без цен. Парсер соберёт бесполезные данные и не поймёт, что его вычислили.
Частые вопросы
Поможет ли robots.txt защитить каталог от парсинга?
Нет. robots.txt — это просьба, а не запрет: его соблюдают поисковые роботы, потому что заинтересованы в хороших отношениях с сайтами. Парсер, написанный для выкачивания вашего каталога, этот файл проигнорирует, а заодно прочитает его как подсказку, где лежит самое ценное.
А если парсер работает через настоящий браузер?
Такие есть, и они дороже в эксплуатации. Именно поэтому проверка браузера построена на задаче, требующей процессорного времени: одна страница обходится в доли секунды, а обход каталога из десятков тысяч страниц становится ощутимо дорогим. Плюс безоконный браузер выдаёт себя признаками, которые видит наш скрипт изнутри страницы.
Не пострадает ли индексация каталога?
Нет. Поисковые роботы подтверждаются обратным DNS и проходят всегда, причём независимо от частоты: обход каталога — их прямая работа.
Другие задачи
Антибот для сайта
Общая защита от автоматического трафика
Защита от скликивания рекламы
Защита рекламного бюджета от клик-фрода
Защита от накрутки поведенческих факторов
Защита от накрутки ПФ конкурентами
Защита форм от спама без капчи
Спам в заявках, комментариях и регистрациях
Защита от перебора паролей
Перебор паролей и сканирование уязвимостей