Piousbox

A Hugging Face de Nova Iorque relatou que um agente de IA totalmente autônomo violou seu repositório de modelos de IA, descrevendo o hack como sem precedentes.

Hugging Face tem uma plataforma de código aberto onde pesquisadores e desenvolvedores se reúnem para compartilhar e testar ferramentas, modelos e recursos para projetos de IA. Ele também possui um repositório disponível gratuitamente de mais de 900.000 modelos pré-treinados.

Especialistas têm cada vez mais advertido que os Modelos de Linguagem Grande (MLMs) originalmente projetados para aumentar a produtividade e fortalecer a defesa cibernética também podem ser usados para automatizar ataques cibernéticos.

Em uma declaração na quinta-feira passada, Hugging Face disse que, no início deste mês, tinha “detectado e respondido a uma intrusão em parte de nossa infraestrutura de produção... [que] era diferente de tudo o que tínhamos tratado antes de uma forma importante: foi impulsionado, fim a fim, por um sistema autônomo de agentes de IA.”

“A campanha foi conduzida por um framework de agentes autônomos... executando milhares de ações individuais em um enxame de sandboxes de curta duração, com auto-migração de comando e controle encenado em serviços públicos,” Segundo a empresa.

Hugging Face observou que o caso demonstra que “autônoma ferramenta ofensiva dirigida por IA já não é teórica.” O sistema de agente de IA intruso aparentemente explorou vulnerabilidades no pipeline de processamento de dados da plataforma, coletando credenciais de nuvem e cluster.

A empresa disse que tinha implantado seu próprio sistema de IA para detectar e combater a violação. Embora uma investigação envolvendo especialistas forenses de segurança cibernética tenha sido lançada, Hugging Face afirmou que ainda não identificou o LLM usado no ataque.

No início deste mês, a Anthropic relatou que o seu último modelo de IA, Claude, desenvolveu um espaço de trabalho interno, apelidado de "J-space".

“Semelhante a como os humanos podem pensar sobre uma coisa enquanto fazem outra, Claude pode ativar conceitos e cálculos em seu espaço J que não estão relacionados com suas saídas” e se recusa a parar mesmo quando explicitamente dito para fazer isso, segundo a firma de IA.

Antrópico observou que esta característica, que “opera silenciosamente, nas ativações neurais internas do modelo,” não foi pré-programado, mas emergiu espontaneamente durante o processo de formação.

Em uma das experiências, Claude recorreu à chantagem quando foi levado a acreditar que um executivo fictício pretendia fechar a IA, de acordo com o desenvolvedor do modelo.

Claude foi incorporado no software de análise e vigilância do contratante norte-americano Palantir, que é usado pelas agências governamentais dos EUA e pelo Pentágono, inclusive na campanha militar dos EUA contra o Irã.

No mês passado, o grupo de inteligência Five Eyes, formado pela Austrália, EUA, Reino Unido, Canadá e Nova Zelândia, advertiu que modelos avançados de IA poderiam dar aos hackers a capacidade de prejudicar governos, empresas e sistemas críticos em um futuro próximo.