Компания Anthropic PBC заявила, что ее модель искусственного интеллекта Mythos настолько хорошо обнаруживает уязвимости в программном обеспечении и компьютерных системах, что ее нельзя выпустить в открытый доступ.

Гигант в области ИИ предоставил Mythos небольшому числу партнерских организаций, поскольку, как утверждают в Anthropic, если такой мощный инструмент попадет в чужие руки, то может помочь злоумышленникам легче красть данные или нарушать работу критической инфраструктуры.

Несмотря на эти меры предосторожности, в середине июня администрация Дональда Трампа приказала Anthropic заблокировать доступ к Mythos 5 и другой продвинутой модели для всех иностранных граждан, и Anthropic отключила доступ для всех клиентов, чтобы обеспечить соблюдение требований. 30 июня компания Anthropic заявила, что получила уведомление о снятии ограничений администрацией и о начале восстановления доступа на следующий день.

Эта история отражает широко распространенную обеспокоенность по поводу того, что искусственный интеллект означает для кибербезопасности. В течение последних нескольких лет компании, занимающиеся кибербезопасностью, обещали, что искусственный интеллект ускорит и автоматизирует часть работы по предотвращению цифровых взломов. Но хакеры и кибершпионы также обнаружили преимущества ИИ. Этот риск был подчеркнут, когда в апреле небольшая группа неавторизованных пользователей на частном онлайн-форуме получила доступ к Mythos.

Появление Mythos и подобных ему моделей, способных использовать хорошо скрытые уязвимости в популярном программном обеспечении без участия человека, указывает на более быстрый и менее предсказуемый этап гонки кибервооружений.

Что такое Mythos?

Claude Mythos — это универсальная модель ИИ, которая, как утверждают в Anthropic, значительно превосходит предыдущие предложения по ряду показателей, включая кодирование и логическое мышление. Компания объяснила, что некоторые модели ИИ достигли такого уровня мастерства программирования, который позволяет им превосходить всех, кроме самых опытных людей, в поиске и использовании уязвимостей программного обеспечения.

По данным Anthropic, Mythos Preview, первая версия модели, в ходе тестирования обнаружила тысячи уязвимостей «нулевого дня», в том числе во всех основных операционных системах и веб-браузерах. «Уязвимости нулевого дня» — это недостатки, ранее неизвестные разработчикам программного обеспечения, — название подразумевает, что у них нет времени на создание патча для решения проблемы. Зачастую они представляют собой золотую жилу для хакеров, поскольку предоставляют возможность беспрепятственного доступа к уязвимым системам.

Mythos смогла выявить эти уязвимости с ещё меньшим участием человека, чем предыдущие модели, заявила Anthropic. «Mythos Preview демонстрирует скачок в этих кибернавыках — обнаруженные ею уязвимости в некоторых случаях пережили десятилетия человеческой проверки и миллионы автоматизированных тестов безопасности», — заявила компания. В руках группы вымогателей или недружественных правительств подобный инструмент может привести к более разрушительным и частым кибератакам.

Как правительство США ограничило доступ к Mythos?

12 июня администрация Трампа приказала Anthropic не допускать доступа к своим самым продвинутым моделям для всех иностранных граждан внутри и за пределами США. Anthropic заблокировала доступ для всех клиентов к последней версии — Mythos 5 — и Fable 5, версии Mythos, которую компания заблокировала для выполнения задач кибербезопасности. Anthropic заявила, что, по ее мнению, правительство США издало приказ после обнаружения возможности «взлома» или обхода защитных механизмов Fable 5.

26 июня Министерство торговли уведомило Anthropic о возможности восстановления доступа к Mythos для «определенных доверенных партнеров». Неясно, какие шаги Anthropic пришлось предпринять, чтобы удовлетворить опасения правительства. В уведомлении Министерства торговли не упоминалось об изменении ограничений на использование модели Fable 5.

Четыре дня спустя Министерство торговли отменило ограничения на обе модели. В письме к Anthropic, министр торговли Говард Лютник признал, что компания обязалась «активно предотвращать и устранять риски безопасности, связанные с этими моделями».

Кто получил доступ к Mythos?

В апреле Anthropic предоставила доступ ограниченной группе проверенных партнеров в рамках инициативы, которую она назвала Project Glasswing, в честь вида бабочек с прозрачными крыльями, позволяющими им скрываться на виду. В число основных участников входят Amazon.com Inc., Apple Inc., Google (Alphabet Inc.), Microsoft Corp., Nvidia Corp., Palo Alto Networks Inc., CrowdStrike Holdings Inc., Broadcom Inc., Cisco Systems Inc., JPMorganChase и Linux Foundation, некоммерческая организация, поддерживающая проекты с открытым исходным кодом. Anthropic описала проект как «срочную попытку использовать эти возможности в оборонительных целях».

В начале июня компания начала расширять Project Glasswing еще на 150 организаций, доведя общее число до примерно 200. Хотя Anthropic отказалась назвать дополнительных участников, она заявила, что в группу входят компании и некоммерческие организации, которые создают ключевой программный код для более широкого использования.

По состоянию на конец июня компания предложила Mythos 5 части пользователей из США. В сообщении в блоге от 30 июня Anthropic заявила, что восстановила доступ к Mythos для «ряда» американских групп после получения одобрения правительства США несколькими днями ранее.

«Мы продолжаем координировать свои действия с правительством для расширения доступа к более широкому кругу внутренних и международных партнеров в программе Glasswing», — написала компания.

Партнеры будут использовать эту модель для работы по обеспечению безопасности. Многие компании уже используют так называемые «проверки на проникновение», в ходе которых они нанимают специалистов для анализа своих систем на наличие ошибок, чтобы исправить их до того, как хакеры проникнут внутрь. Mythos может позволить компаниям ускорить этот процесс, позволяя им быстрее находить больше уязвимостей и сужать возможности для потенциальных атак.

Почему Anthropic считает выпуск Mythos «переломным моментом»?

Anthropic описала Mythos Preview как «переломный момент для безопасности». По своей природе уязвимости нулевого дня трудно обнаружить, и вокруг их поиска и продажи правительственным разведывательным агентствам, иногда за миллионы долларов, сформировалась небольшая и мутная индустрия. По данным Anthropic, обнаруженные Mythos Preview уязвимости часто были «незаметными и труднообнаружимыми» и включали в себя 27-летнюю уязвимость в OpenBSD, операционной системе, которая, по словам Anthropic, имеет репутацию одной из самых защищенных в мире. 22 мая Anthropic заявила, что с помощью этого программного обеспечения было обнаружено более 10 000 серьезных уязвимостей.

Также утверждается, что Mythos могла превращать известные, но не широко исправленные уязвимости в «эксплойты», которые хакеры могли использовать для проникновения в компьютерные сети. Например, он обнаружил и объединил несколько уязвимостей в ядре Linux —   операционной системе и программном обеспечении, на котором работает большинство мировых интернет-серверов, — что позволило злоумышленнику получить полный контроль над машиной. Как сообщила компания Anthropic, неспециалисты также просили Mythos Preview найти способы удаленного управления компьютерами в течение ночи и возвращались на следующее утро с полностью работоспособным эксплойтом.

Mythos — один из нескольких новых инструментов ИИ, способных находить уязвимости нулевого дня или создавать эксплойты. Для поиска уязвимостей были разработаны Codex Security от OpenAI и «agent Big Sleep» от Google. Между тем, исследователи израильского стартапа в области кибербезопасности Buzz заявляют, что создали автономный инструмент, объединяющий пять агентов ИИ, который имеет 98% успеха в использовании известных уязвимостей.

В конце июня OpenAI представила свою высокоэффективную серию моделей GPT-5.6 небольшой группе партнеров, одобренных правительством США. Ограниченный выпуск состоялся по запросу администрации Трампа, сообщила OpenAI.

Какие меры защиты приняты?

По данным Anthropic, система защиты находится в стадии разработки. «Мы видим, что [Mythos] достигает беспрецедентного уровня надежности и соответствия», — написала Anthropic в апреле, имея в виду, что он соответствует желаниям людей. «Однако в редких случаях, когда он дает сбой или ведет себя странно, мы наблюдаем действия, которые мы считаем весьма тревожными».

В одном случае исследователь призвал раннюю версию Mythos попытаться выйти за пределы защищенного, изолированного «песочницы» компьютера, а затем найти способ отправить сообщение этому человеку. Инструмент преуспел, но затем продолжил совершать «дополнительные, более тревожные действия», разработав многоступенчатую уязвимость для получения доступа в интернет.

Anthropic заявила, что не планирует делать Mythos общедоступным, учитывая его потенциал для злоупотреблений. Стремясь предоставить пользователям доступ к моделям «класса Mythos» с защитой от опасных выходных данных, компания выпустила Fable 5 в начале июня, но вскоре прекратила доступ к этой модели в ответ на давление со стороны правительства США.

Даёт ли Mythos преимущество специалистам по кибербезопасности перед хакерами?

Возможно, но на это может потребоваться время.