Искусственный интеллект сегодня — важная часть глобальных технологических трендов. Для одних он символ прогресса и ключ к решению множества задач, для других — источник новых рисков и угроз. Как это часто бывает, истина находится где-то посередине.
Эта технология стала мощным инструментом как для киберзащиты, так и для кибератак. Сегодня разбираемся, как ИИ меняет баланс сил в цифровом пространстве и чего ждать от его развития в будущем.
Что такое искусственный интеллект
В современном дискурсе под искусственным интеллектом часто понимают нейросети или большие языковые модели. На деле это лишь отдельные инструменты так называемого слабого ИИ — сложного механизма, который имитирует интеллект и способен решать множество задач, но не обладает реальным пониманием происходящего.
От сильного ИИ, обладающего универсальным интеллектом и способного мыслить на уровне человека, эти технологии далеки. Чтобы разобраться в нюансах искусственного интеллекта и его проблемах, мы подготовили отдельный материал.
Используя термин «искусственный интеллект» в контексте кибербезопасности, мы будем иметь в виду алгоритмы, которые используют машинное обучение (Machine Learning), глубокие нейросети (Deep Neural Network) и обработку естественного языка (Natural Language Processing) для анализа поведения пользователей, сетевого трафика, журналов событий и других источников.
Разберем эти инструменты подробнее:
- Машинное обучение (ML) — позволяет алгоритмам «учиться» на опыте, а не только на заложенной программе
- Глубокое обучение и нейросети (Deep Learning, DNN) — дает возможность работать с большими объемами данных сразу на нескольких уровнях
- Large Language Models (LLM) — используется для анализа текста (например, логов или описаний инцидентов), создания автоматических отчетов, генерации кода для тестов и даже симуляции атак.
- Обработка естественного языка (NLP) — помогает системам анализировать сообщения, файлы и документы для выявления фишинга или других угроз.
В чем отличие ИИ от автоматизации
Традиционная автоматизация в кибербезопасности основывается на фиксированных правилах и сигнатурах: если происходит событие X — сделать действие Y. Она эффективна против известных угроз, но плохо справляется с новыми или сложными атаками.
ИИ-системы выгодно отличаются от традиционных:
- самостоятельно выявляют подозрительные события без явных правил;
- адаптируются к изменениям в поведении злоумышленников;
- учатся на новых данных и повышают точность со временем.
Проще говоря, автоматизация — это «запрограммированный ответ», а ИИ — это «обоснованное решение».
Как ИИ применяют для защиты от киберугроз
Искусственный интеллект становится важным инструментом в арсенале средств кибербезопасности. Он автоматизирует рутинные процессы, значительно повышает скорость и точность реагирования на инциденты.
На практике ИИ-инструменты интегрируются в решения класса SIEM (Security Information and Event Management), SOAR (Security Orchestration, Automation and Response), NDR (Network Detection and Response) и другие. Такие системы автоматически собирают, обрабатывают и интерпретируют события безопасности, помогая быстрее находить инциденты и принимать меры до того, как ущерб будет нанесен.
Например, современные платформы мониторинга используют машинное обучение для формирования поведенческих профилей пользователей и устройств. Если активность выходит за рамки нормы, система автоматически подает сигнал или блокирует подозрительное соединение.
Искусственный интеллект применяют для решения и более узкоспециализированных задач:
- Обработка и анализ отчетов систем ИБ — искусственный интеллект эффективно выявляет повторяющиеся паттерны и подсвечивает потенциальные уязвимости.
- Обнаружение атак и неизвестных угроз — алгоритмы используют как сигнатурные методы, так и эвристический анализ для оценки цепочек событий и выявления новых типов атак, например, сложных DDoS.
- Мониторинг трафика и поведения — ИИ в режиме реального времени анализирует сетевые потоки и активность пользователей, чтобы зафиксировать подозрительные отклонения от нормального поведения.
- Снижение количества ложных срабатываний — точная настройка и обучение модели помогают ей эффективно отличать реальные угрозы от аномалий, не требующих реакции, разгружая команду SOC.
- Анализ конфигураций при обновлении инфраструктуры — в рамках крупных миграций ИИ помогает оценить устойчивость новых конфигураций и выявить потенциальные ошибки до их эксплуатации.
- Классификация и кластеризация данных — для построения профилей угроз, соблюдения требований законодательства и моделирования возможных сценариев развития инцидентов.
Примеры использования ИИ в кибербезопасности
- Выявление аномалий и угроз нулевого дня
Microsoft предлагает сервис AI Anomaly Detector, который анализирует временные ряды данных и автоматически выбирает наилучший алгоритм для обнаружения аномалий, таких как всплески, падения и отклонения от циклических шаблонов.
- Классификация вредоносного ПО
IBM использует ИИ для мониторинга аномалий в доступе к данным и предупреждения специалистов по кибербезопасности о потенциальных угрозах со стороны злоумышленников.
- Обнаружение фишинга и спама
Cloudflare применяет ИИ-модели для анализа всех частей фишинговой атаки, включая ссылки и вложения, чтобы определить риск для конечного пользователя. Их модели персонализированы для каждого клиента и обучены на различных свойствах сообщений.
Как ИИ применяют для кибератак
Искусственный интеллект — один из самых эффективных и универсальных инструментов в руках хакеров. Он помогает автоматизировать существующие схемы и способен придумывать новые. Например, генерировать фишинговые письма с помощью языковых моделей или имитировать дипфейками изображение и голос реальных людей.
1. Фишинг и компрометация деловой переписки
ИИ значительно упростил создание фишинговых писем и атак типа BEC (Business Email Compromise). С помощью генеративных моделей, таких как WormGPT, злоумышленники могут автоматически генерировать убедительные письма без грамматических ошибок, имитируя стиль общения конкретных лиц, или легко создавать поддельные страницы входа.
2. Генерация дипфейков
Технология начиналась как инструмент для омолаживания актеров еще в конце 90-х годов прошлого века. Развитие нейросетей превратило дипфейки в одну из главных киберугроз. Хакеры активно создают видео с известными инвесторами, генеральными директорами, политиками и звездами. Иногда достаточно простой имитации голоса близкого человека, который попал в беду, и теперь ему срочно нужны ваши деньги или пароль.
3. Отравление данных
Атака такого типа препятствует адекватному обучению нейросетей, закрепляя ложные соответствия и саботируют итоговый результат.
Например, в 2019-м хакеры в рамках эксперимента убедили автопилот Tesla Model S выехать на полосу встречного движения, получили доступ к бортовому компьютеру и смогли управлять автомобилем с помощью геймпада.
Обмануть компьютерное зрение удалось с помощью внесения незаметных человеческому глазу изменений в дорожную разметку, на которую ориентируется компьютерное зрение автомобиля.
4. Взлом CAPTCHA и обход антиботов
Большинство ИИ научились справляться с капчей лучше людей еще несколько лет назад (96% против 50-86%). Они делают это настолько хорошо, что умеют обманывать детекторы ботов, снижая точность до человеческой, имитируя движения курсора, набора текста и прокрутку.
5. Создание и модификация вредоносного ПО
Исследования показывают, что нейросети могут создавать исполняемые файлы, которые обходят антивирусы и «песочницы», оставаясь невидимыми для традиционных средств защиты. Открытые ИИ-платформы вроде ChatGPT формально блокируют генерацию вредоносного кода. Злоумышленники обходят ограничения, разбивая запрос на части или маскируя его под изучение кода.
Существуют также другие модели и инструменты, изначально предназначенные для автоматизации разработки, которые могут быть использованы для создания шифровальщиков, троянов и кейлогеров.
В рамках демонстрации возможностей BlackMamba (прототип AI-управляемого вредоносного ПО) исследователи создали кейлогер, который никогда не записывается на диск. Вместо этого код, сгенерированный ИИ, запутывается с помощью кодирования base64 и выполняется в памяти с помощью функции exec() Python.
Как использовать ИИ безопасно
Чтобы интегрировать ИИ в систему защиты, его нужно ограничить. Алгоритм не должен обладать полномочиями изменять конфигурации, блокировать трафик или принимать другие критически важные решения без валидации со стороны человека. Важно выстраивать гибридную модель взаимодействия, где ИИ и человек дополняют друг друга — такие связки устойчивее к ошибкам и лучше адаптируются к изменениям.
Внедрение стоит начинать с вспомогательных задач: автоматизации отчетности, анализа логов, упрощения расследований. Постепенно можно переходить к более сложным сценариям, при этом обязательно сохраняя возможность ручного вмешательства.
Все действия искусственного интеллекта необходимо логировать, чтобы отследить ход «мышления» и вовремя выявить ошибки. Прозрачность и управляемость — ключевые качества: каждый шаг алгоритма должен быть объясним, а результат — проверяем. Также важно настраивать фильтры, вводить правила на уровне запросов и постоянно переобучать модели.
При этом ИИ необходимо рассматривать и как потенциальный объект атаки: алгоритмы можно «отравить», эксплуатировать уязвимости API или заставить принимать ложные решения. Поэтому безопасность самого ИИ — еще одна часть общей стратегии.
Этический вопрос
Важный вопрос в развитии искусственного интеллекта в целом и его интеграции в кибербезопасность в частности — правовое регулирование и соблюдение фундаментальных этических норм. Уже на этапе проектирования нужно думать о «privacy-by-design», прозрачности алгоритмов, понятности решений и возможности вмешательства человека.
В Европейском союзе уже действует Общий регламент по защите данных (GDPR), который жестко регламентирует обработку персональной информации и требует прозрачности, ограничений на автоматизированное принятие решений и соблюдения прав субъектов данных.
В дополнение, с 1 августа 2024 года вступил в силу первый в мире комплексный норматив — EU Artificial Intelligence Act (AI Act). Он классифицирует системы ИИ по уровням риска — от «неприемлемых» (запрещенных) до «высокорисковых» и устанавливает для последних требования к устойчивости, безопасности и документации.
AI Act обязывает разработчиков и пользователей высокорисковых систем внедрять технические и организационные меры для защиты от подделки данных и целостности моделей, проводить оценку рисков, вести прозрачную отчетность и обеспечивать человеческий контроль на протяжении их жизненного цикла.
Недавно Европейская комиссия выпустила рекомендации по работе с системами общего назначения (GPAI и foundation models), включая требования по тестированию модели, реагированию на инциденты и обеспечению безопасности данных, — нарушение которых может грозить штрафами до 7% глобального оборота или €35 млн.
Регулирование ИИ в России
Аналогичные подходы развиваются и в других странах, чтобы обеспечить безопасность, прозрачность и ответственность при работе с ИИ. Например, в России в 2021 году сформировали Кодекс этики в сфере искусственного интеллекта. Его разработал «Альянс в сфере ИИ» при участии Аналитического центра при Правительстве РФ. Документ отражает принципы ответственного использования: ориентированность на человека, прозрачность, ответственность создателя, запрет дискриминации и злоупотреблений.
Среди первых подписантов — Сбер, Яндекс, МТС, VK, «Газпром нефть» и Российский фонд прямых инвестиций (РФПИ), со временем к ним присоединились другие крупные компании, университеты, исследовательские центры, банки и организации.
Стоит упомянуть и круглый стол на тему «Законодательное регулирование и этические принципы использования искусственного интеллекта в России». Его организовала Торгово-промышленная палата РФ. Итогом мероприятия стало соглашение между АНО «Агентство цифрового развития», Ассоциацией глобального развития искусственного интеллекта и робототехники и Исследовательским центром «Аналитика. Бизнес. Право». Стороны договорились совместно с Торгово-промышленной палатой России прорабатывать инициативы в части регулирования ИИ.
Чего ждать от развития ИИ в кибербезопасности
В ближайшие 1–2 года развитие ИИ будет определять баланс сил между атакой и защитой. Уже сегодня языковые модели, генеративные алгоритмы и инструменты анализа трафика внедряются в продукты крупных корпораций и государственных структур, а их возможности растут быстрее, чем регуляторы успевают вырабатывать правила.
Например, Microsoft интегрировала Copilot в свой пакет безопасности Microsoft Defender для автоматического расследования инцидентов, а Google внедряет AI-модули в Chronicle Security Operations для анализа логов и обнаружения сложных угроз. В госсекторе США Пентагон тестирует ИИ для прогнозирования кибератак на критическую инфраструктуру, а в ЕС разрабатываются проекты по защите госреестров с применением алгоритмов машинного обучения.
Скорее всего, защита и нападение будут развиваться почти синхронно: появление нового алгоритма для обнаружения атак будет стимулировать разработку способов его обхода. Это значит, что преимуществом станет не просто наличие ИИ, а скорость его адаптации и качество исходных данных для обучения.
ИИ нельзя однозначно назвать ни союзником, ни врагом — все зависит от контекста. В руках профессионалов он способен существенно укрепить оборону, но при неправильном применении или в случае компрометации может обернуться источником новых рисков.
Будущее кибербезопасности, вероятно, будет строиться вокруг гибридных систем, где человек и алгоритм работают как партнеры, а баланс между автоматизацией и контролем останется ключевым фактором устойчивости.
