Модуль Список ботов позволяет настраивать доступ как для известных DDoS-Guard групп легитимных ботов (организаций), так и для отдельных ботов внутри группы.
Действия
Для каждого бота можно выбрать одно из трех действий:
- Пропускать — запросы от бота будут пропущены к целевому серверу. Работает аналогично добавлению IP-адреса в белый список. Подробнее на схеме фильтрации L7
- Фильтровать — запросы от бота будут проходить через каскад фильтров L7 и, если система сочтет их подозрительными, могут быть подвергнуты проверке с помощью JS challenge и CAPTCHA и заблокированы
- Блокировать — запросы от бота будут блокироваться
По умолчанию для большинства ботов выбрано действие пропускать — так защита от DDoS не мешает работе поисковых и других полезных ботов. Для ИИ-краулеров и других ботов, которые могут создавать повышенную нагрузку на сайт, по умолчанию назначено действие фильтровать/.
Действие можно назначить для всей группы ботов сразу — выбранное действие заменит все настройки для ботов внутри группы
Используйте строку «Остальные боты…» внутри каждой группы, чтобы установить настройки для всех других ботов, принадлежащих этой организации. При добавлении в группу новых ботов к ним будет автоматически применяться выбранное действие.
Например, вы назначили действия для всех ботов Google и в строке «Остальные боты Google» выбрали «Пропускать». Если в группе Google появится новый бот, для него будет установлено действие «Пропускать»
Категории
Для удобства боты классифицированы по категориям:
- «Поисковые системы» — боты-краулеры и другие боты, которые обеспечивают работу поисковиков
- «Кибербезопасность» — боты, задействованные в проверке безопасности сайта, например сканеры уязвимостей
- «Искусственный интеллект» — боты-скрейперы, которые собирают контент для обучения ИИ, а также краулеры ИИ-организаций и ИИ-агенты
- «Реклама» — боты для индексации страниц в интересах рекламных сетей
- «Предпросмотр веб-страниц» — боты, которые генерируют картинки-превью страницы, например при отправке ссылки в мессенджерах
- «Системы аналитики» — боты, которые собирают информацию о странице для работы аналитики (Яндекс Метрика, Google Analytics и подобные)
Поддерживаемые боты
| Группа | Бот | Категория | Действие по умолчанию |
|---|---|---|---|
| Yandex | Yandex | Поисковые системы | Пропускать |
| Yandex Accessibility Bot | Поисковые системы | Пропускать | |
| Yandex Market | Реклама | Пропускать | |
| Yandex News | Поисковые системы | Пропускать | |
| Yandex Video | Поисковые системы | Пропускать | |
| Yandex Images | Поисковые системы | Пропускать | |
| Yandex Direct | Системы аналитики | Пропускать | |
| Yandex Money | Реклама | Пропускать | |
| Yandex Metrika | Системы аналитики | Пропускать | |
| YooMoney | Реклама | Пропускать | |
| Поисковые системы | Пропускать | ||
| Google Extended | Искусственный интеллект | Пропускать | |
| Google Site Verification | Кибербезопасность | Пропускать | |
| Google Safety | Кибербезопасность | Пропускать | |
| Google Read Aloud | Предпросмотр веб-страниц | Пропускать | |
| Google Developers | Системы аналитики | Пропускать | |
| Google Inspection Tool | Системы аналитики | Пропускать | |
| Google Feed Fetcher | Поисковые системы | Пропускать | |
| Google StoreBot | Реклама | Пропускать | |
| Googlebot Video | Поисковые системы | Пропускать | |
| Google AdsBot | Реклама | Пропускать | |
| Googlebot Image | Поисковые системы | Пропускать | |
| Googlebot News | Поисковые системы | Пропускать | |
| Apple | Apple | Поисковые системы | Пропускать |
| AASA-Bot | Системы аналитики | Пропускать | |
| Mail.ru | Mail.ru | Поисковые системы | Пропускать |
| Vk Bot | Поисковые системы | Пропускать | |
| Microsoft | Bing | Поисковые системы | Пропускать |
| BingPreview | Предпросмотр веб-страниц | Пропускать | |
| AdidxBot | Реклама | Пропускать | |
| OpenAI | ChatGPT | Искусственный интеллект | Фильтровать |
| ChatGPT Search | Искусственный интеллект | Фильтровать | |
| ChatGPT Bot | Искусственный интеллект | Фильтровать | |
| Anthropic | Claude | Искусственный интеллект | Фильтровать |
| Claude Search | Искусственный интеллект | Фильтровать | |
| Claude Bot | Искусственный интеллект | Фильтровать | |
| Perplexity | Perplexity | Искусственный интеллект | Фильтровать |
| Perplexity Bot | Искусственный интеллект | Фильтровать | |
| Предпросмотр веб-страниц | Пропускать | ||
| Perfect Money | Реклама | Пропускать | |
| Roistat | Реклама | Пропускать | |
| Criteo | Реклама | Пропускать | |
| Telegram | Предпросмотр веб-страниц | Пропускать | |
| PingAdmin | Системы аналитики | Пропускать | |
| UptimeRobot | Системы аналитики | Пропускать | |
| Check-host | Системы аналитики | Пропускать | |
| Webmoney | Реклама | Пропускать | |
| Amazon | Искусственный интеллект | Пропускать | |
| LetsEncrypt | Кибербезопасность | Пропускать | |
| LetsDebug | Системы аналитики | Пропускать | |
| Ahrefs | Системы аналитики | Пропускать | |
| ShapBot | Искусственный интеллект | Фильтровать | |
| Direqt | Искусственный интеллект | Фильтровать | |
| Mistral | Искусственный интеллект | Фильтровать | |
| Kimi | Искусственный интеллект | Фильтровать |