Список ботов

Модуль Список ботов позволяет настраивать доступ как для известных DDoS-Guard групп легитимных ботов (организаций), так и для отдельных ботов внутри группы.

Вкладка Список ботов, развернута группа ботов Google

 

Для каждого бота можно выбрать одно из трех действий:

  1. Пропускать — запросы от бота будут пропущены к целевому серверу. Работает аналогично добавлению IP-адреса в белый список. Подробнее на схеме фильтрации L7
  2. Фильтровать — запросы от бота будут проходить через каскад фильтров L7 и, если система сочтет их подозрительными, могут быть подвергнуты проверке с помощью JS challenge и CAPTCHA и заблокированы
  3. Блокировать — запросы от бота будут блокироваться

По умолчанию для всех групп ботов выбрано действие пропускать — так защита от DDoS не мешает работе поисковых и других полезных ботов.

Действие можно назначить для всей группы ботов сразу — выбранное действие заменит все настройки для ботов внутри группы

Используйте строку «Остальные боты…» внутри каждой группы, чтобы установить настройки для всех других ботов, принадлежащих этой организации. При добавлении в группу новых ботов к ним будет автоматически применяться выбранное действие. 

Например, вы назначили действия для всех ботов Google и в строке «Остальные боты Google» выбрали «Пропускать». Если в группе Google появится новый бот, для него будет установлено действие «Пропускать»

 

Для удобства боты классифицированы по категориям:

  1. «Поисковые системы» — боты-краулеры и другие боты, которые обеспечивают работу поисковиков;
  2. «Кибербезопасность» — боты, задействованные в проверке безопасности сайта, например сканеры уязвимостей;
  3. «Искусственный интеллект» — боты-скрейперы, которые собирают контент для обучения ИИ;
  4. «Реклама» — боты для индексации страниц в интересах рекламных сетей;
  5. «Предпросмотр веб-страниц» — боты, которые генерируют картинки-превью страницы, например при отправке ссылки в мессенджерах;
  6. «Системы аналитики» — боты, которые собирают информацию о странице для работы аналитики (Яндекс Метрика, Google Analytics и подобные).

 

ГруппаБотКатегория
YandexYandexПоисковые системы
Yandex Accessibility BotПоисковые системы
Yandex MarketРеклама
Yandex NewsПоисковые системы
Yandex VideoПоисковые системы
Yandex ImagesПоисковые системы
Yandex DirectСистемы аналитики
Yandex MoneyРеклама
Yandex MetrikaСистемы аналитики
YooMoneyРеклама
GoogleGoogleПоисковые системы
Google ExtendedИскусственный интеллект
Google Site VerificationКибербезопасность
Google SafetyКибербезопасность
Google Read AloudПредпросмотр веб-страниц
Google DevelopersСистемы аналитики
Google Inspection ToolСистемы аналитики
Google Feed FetcherПоисковые системы
Google StoreBotРеклама
Googlebot VideoПоисковые системы
Google AdsBotРеклама
Googlebot ImageПоисковые системы
Googlebot NewsПоисковые системы
AppleAppleПоисковые системы
AASA-BotСистемы аналитики
Mail.ruMail.ruПоисковые системы
Vk BotПоисковые системы
MicrosoftBingПоисковые системы
BingPreviewПредпросмотр веб-страниц
AdidxBotРеклама
 FacebookПредпросмотр веб-страниц
Perfect MoneyРеклама
RoistatРеклама
CriteoРеклама
TelegramПредпросмотр веб-страниц
PingAdminСистемы аналитики
UptimeRobotСистемы аналитики
Check-hostСистемы аналитики
WebmoneyРеклама
AmazonИскусственный интеллект
LetsEncryptКибербезопасность
LetsDebugСистемы аналитики
AhrefsСистемы аналитики