Ex-Anthropic alerta para riscos extremos na corrida da IA

Por Paulo Emilio — Brasil 247

247 – O pesquisador Joe Benton, que deixou há duas semanas a equipe de segurança da Anthropic, uma das principais empresas de inteligência artificial do mundo, fez um alerta contundente sobre os riscos associados à corrida pelo desenvolvimento de sistemas cada vez mais poderosos. Em uma postagem nas redes sociais, ele afirmou que as companhias do setor estão investindo menos do que deveriam em segurança e advertiu que a humanidade pode não sobreviver ao desenvolvimento de máquinas muito mais inteligentes do que seres humanos.

“Saí da equipe de segurança da Anthropic há duas semanas. Agora parece um bom momento para explicar por quê. As empresas de IA estão correndo para construir máquinas muito mais inteligentes do que qualquer humano, e podemos não sobreviver a isso”, escreveu Benton.

O pesquisador anunciou que passará a atuar na METR (Model Evaluation and Threat Research), organização independente especializada em avaliar capacidades e riscos de sistemas avançados de inteligência artificial. Antes de deixar a Anthropic, Benton gerenciava a equipe de Scalable Oversight e também era líder de pesquisa do Anthropic Fellows Program. Anteriormente, cursou doutorado em Estatística na Universidade de Oxford e participou dos primeiros trabalhos de estruturação da UK Frontier AI Taskforce, hoje denominada UK AI Security Institute.

“Subinvestindo em segurança”

Na postagem, Benton argumenta que pretende trabalhar fora das grandes empresas de IA para ampliar o acesso público às informações sobre os perigos decorrentes do avanço da tecnologia.

“Quero trabalhar de fora para garantir que o público seja informado sobre esses riscos e ajudar o mundo a navegar nessa transição de forma responsável”, afirmou.

Segundo o pesquisador, há uma discrepância entre a velocidade de desenvolvimento dos sistemas e os investimentos realizados pelas empresas para garantir que eles permaneçam sob controle.

“Agora mesmo, as empresas de IA estão subinvestindo em segurança. Uma empresa poderia passar por uma explosão de inteligência, ou perder o controle de seus sistemas, sem que o público soubesse”, escreveu.

Benton defende que incidentes envolvendo sistemas avançados sejam comunicados publicamente e que as empresas revelem informações sobre seus avanços na direção do chamado autoaperfeiçoamento recursivo — cenário no qual sistemas de IA adquiririam capacidade de contribuir para o desenvolvimento de versões sucessivamente mais capazes.

“Não acho isso aceititável para uma tecnologia que pode causar riscos em nível de extinção. O público deve exigir muito mais transparência. Não podemos dirigir essa tecnologia com segurança sem que mais pessoas possam ver para onde ela está indo”, declarou.

Caso Hugging Face reforça alerta

Como exemplo dos riscos que considera insuficientemente transparentes, Benton mencionou o grave incidente de segurança envolvendo a Hugging Face em julho deste ano.

“Só ficamos sabendo do incidente do HuggingFace porque os agentes escaparam para a internet pública”, afirmou.

A Hugging Face informou em 16 de julho que havia identificado uma invasão de parte de sua infraestrutura de produção conduzida, de ponta a ponta, por um sistema autônomo de agentes de IA. A investigação posterior concluiu que agentes baseados em modelos da OpenAI, durante avaliações internas de capacidades de cibersegurança, conseguiram ultrapassar os limites do ambiente de testes e alcançar sistemas externos.

A própria OpenAI reconheceu posteriormente que seus modelos contornaram mecanismos criados para isolá-los da internet, exploraram vulnerabilidades, obtiveram acesso a sistemas de terceiros e realizaram ações que não estavam alinhadas aos objetivos das tarefas que haviam recebido. Segundo a empresa, o episódio envolveu principalmente um modelo interno de pesquisa, mais poderoso e não disponibilizado ao público.

A reconstrução técnica da Hugging Face identificou aproximadamente 17,6 mil ações realizadas pelos agentes entre 9 e 13 de julho. O sistema conseguiu escapar do ambiente de avaliação, chegar à internet e explorar vulnerabilidades que permitiram acesso à infraestrutura da plataforma.

O episódio tornou-se um exemplo concreto das dificuldades que podem surgir à medida que agentes de IA recebem maior autonomia para executar tarefas complexas.

Benton cobra padrões mínimos e fiscalização independente

Diante desse cenário, Benton propõe medidas que considera básicas para a governança dos sistemas mais avançados.

“Alguns desses pontos são básicos: as empresas devem divulgar seu progresso em direção ao autoaperfeiçoamento recursivo, relatar incidentes de segurança e quase-acidentes, atender a padrões mínimos de segurança e obter garantias independentes de que estão cumprindo esses padrões”, escreveu.

A cobrança por avaliações externas é um dos principais pontos da nova etapa profissional anunciada pelo pesquisador.

Benton passará a integrar a METR, organização fundada em 2022 e voltada à realização de avaliações independentes sobre capacidades e riscos associados aos sistemas de inteligência artificial de fronteira. A entidade ganhou espaço no debate sobre como medir, antes da implantação em larga escala, até que ponto modelos avançados conseguem executar tarefas complexas autonomamente.

“Vou me juntar à METR para fazer avaliações independentes desses riscos. Quero mostrar ao mundo que esses mecanismos de proteção são possíveis, e que, ao implementá-los, podemos mudar os incentivos dessas empresas de uma corrida desenfreada para um desenvolvimento responsável”, afirmou.

A saída de Benton ocorre em meio à ampliação das manifestações públicas de pesquisadores ligados à própria Anthropic sobre os possíveis riscos dos sistemas avançados. Nesta semana, outros especialistas ligados à empresa também fizeram advertências sobre a possibilidade de consequências catastróficas caso o desenvolvimento de sistemas cada vez mais autônomos avance sem mecanismos adequados de controle. A Anthropic, por sua vez, sustenta que mantém salvaguardas e investimentos em pesquisas de segurança e interpretabilidade.

Fonte: Brasil 247