Важный фактор быстрого реагирования на рыночных «полях сражений» – знать статистику цен и продаж конкурентов. В «прекрасные» годы офлайн (20-е столетие) крупные сети запускали штат особых людей, «тайных покупателей», чтобы промониторить ценовую политику соперников. Сейчас, когда покупки массово перешли в сферу онлайн, а ассортимент магазинов вырос до сотен тысяч позиций, в моду вошёл скрапинг цен (анг. «соскабливание»). Это автоматические системы разведки цен онлайн-ритейлеров при помощи сетевых ботов и шпионских приложений. По утверждению ресурса wired.com, скрапингом занимаются все крупные игрокирынка, включая Amazon, Walmart, Google и другие.
Расскажем немного о секретах и приёмах скрапинга. Простейшим и открытым способом «соскабливания» является автоматический сбор RSS-фидов (подписка на новости), которые онлайн-магазин сам предлагает посетителям. Более изощрённые и менее законные методики – запуск на сайт магазина бота-скрапера, который притворяется живым покупателем и выведывает цены на те или иные товары. Ботов создают для ритейлеров хакеры, и эта связь всегда официально отрицается магазинами.
Парадокс в том, что ритейлер одновременно хотел бы узнать цены конкурентов, и при этом утаить от них свои. Поэтому сетевая служба безопасности ритейлеров придумывает барьеры, пресекающие деятельность враждебных ботов.
Например, сайт может показывать разные цены реальным людям и ботам. Последним ритейлер называет астрономически высокую или нулевую цену – если удаётся бота распознать. Но как это сделать?
Можно измерять частоту, с которой посетитель заходит на сайт. Если речь идёт о десятках и сотнях запросов в минуту, скорее всего, это бот. Также можно анализировать адреса IP гостей. Если адреса расположены в массиве облачных вычислений, это прямое указание на шпионскую структуру запроса.
Испытанным способом является установка процесса капчи (распознавание картинок) при авторизации на сайте. Но у капчи есть огромный минус – она раздражает и замедляет реальных пользователей, и есть риск, что настоящий клиент просто уйдёт с сайта.
С появлением мобильных приложений возникли и новые методы блокировки ботов. Например, когда вы касаетесь сенсорного экрана смартфона, вы слегка наклоняете или сдвигаете аппарат. Это действие автоматически отмечается встроенными акселерометром и гироскопом телефона. Поминутные физические касания говорят о том, что мобильным приложением оперирует живой человек. А если касаний нет, но активность велика – это бот!
Войны за господство онлайн только усиливаются вместе с тотальным охватом населения мобильными гаджетами и доступом к широкополосному Интернету.
