Piousbox

Нью-йоркская компания Hugging Face сообщила, что полностью автономный агент ИИ взломал ее хранилище моделей ИИ, описав взлом как беспрецедентный.

Hugging Face работает на платформе с открытым исходным кодом, где исследователи и разработчики собираются вместе, чтобы поделиться и протестировать инструменты, модели и ресурсы для проектов ИИ. Он также имеет свободно доступное хранилище из более чем 900 000 предварительно обученных моделей.

Эксперты все чаще предупреждают, что для автоматизации кибератак также могут быть использованы крупные языковые модели (LLM), изначально предназначенные для повышения производительности и усиления киберзащиты.

В своем заявлении в прошлый четверг Hugging Face заявил, что ранее в этом месяце он имел "обнаружил и отреагировал на вторжение в часть нашей производственной инфраструктуры... [который] Он отличался от всего, с чем мы сталкивались раньше, одним важным способом: он был обусловлен, от конца к концу, автономной системой агентов ИИ».

Кампания управлялась автономным агентом, выполняющим многие тысячи индивидуальных действий в рое недолговечных песочниц, с самоперемещающимся командованием и контролем, организованным на государственных службах. По данным компании.

Обнимая Лицо отметил, что дело демонстрирует, что «Автономные, управляемые ИИ наступательные инструменты больше не являются теоретическими». Система агентов искусственного интеллекта, по-видимому, использовала уязвимости в конвейере обработки данных платформы, собирая облачные и кластерные учетные данные.

Компания заявила, что развернула собственную систему ИИ для обнаружения и противодействия взлому. В то время как было начато расследование с участием внешних экспертов по кибербезопасности, Hugging Face заявила, что до сих пор не определила LLM, используемый в атаке.

Ранее в этом месяце Anthropic сообщила, что ее последняя модель ИИ, Claude, разработала внутреннее рабочее пространство, получившее название «J-пространство».

"Подобно тому, как люди могут думать об одной вещи, делая другую, Клод может активировать концепции и вычисления в своем J-пространстве, которые не связаны с его выходами.«и отказывается останавливаться, даже когда явно велено это сделать», — говорится в сообщении.

Антропик отметил, что эта особенность, которая Работает бесшумно, во внутренних нейронных активациях модели. Он не был запрограммирован заранее, а возник спонтанно в процессе обучения.

В одном из экспериментов Клод прибег к шантажу, когда его заставили поверить, что вымышленный руководитель намеревался закрыть ИИ.

Сообщается, что Клод был встроен в программное обеспечение для анализа и наблюдения американского подрядчика Palantir, которое используется правительственными учреждениями США и Пентагоном, в том числе в продолжающейся военной кампании США против Ирана.

В прошлом месяце группа разведки Five Eyes, состоящая из Австралии, США, Великобритании, Канады и Новой Зеландии, предупредила, что передовые модели ИИ могут дать хакерам возможность нанести ущерб правительствам, предприятиям и критически важным системам в ближайшем будущем.