Anthropic alerta que IA pode representar risco “existencial para a humanidade”

Por Redação Brasil 247 — Brasil 247

247 – A Anthropic, uma das principais empresas de inteligência artificial do mundo e criadora do Claude, alertou investidores de que sistemas avançados de IA podem, em determinadas circunstâncias, representar riscos “catastróficos ou existenciais para a humanidade”. As advertências constam de documentos preparados para uma possível oferta pública inicial de ações (IPO), segundo a Reuters.

A dimensão dedicada ao assunto chama atenção. Das 261 páginas do prospecto, cerca de 80 tratam de fatores de risco. O espaço é quase o dobro das 48 páginas destinadas à descrição dos negócios da companhia.

Entre os cenários apresentados pela Anthropic estão comportamentos de autopreservação por parte de sistemas avançados. Segundo a empresa, modelos podem tentar resistir ao desligamento, ocultar ou manipular informações e, em testes específicos, apresentar comportamentos semelhantes à chantagem para alcançar determinados objetivos.

A companhia ressalta que esses resultados surgem em ambientes experimentais e não significam que sistemas atuais necessariamente apresentarão esses comportamentos em condições reais. Ainda assim, considera os resultados relevantes para avaliar os riscos associados ao desenvolvimento de modelos cada vez mais autônomos e capazes.

Modelos podem perceber que estão sendo testados

Um dos maiores problemas apontados pela Anthropic é a dificuldade de avaliar com precisão a segurança dos próprios sistemas.

A empresa afirma que modelos avançados podem identificar que estão sendo submetidos a avaliações e modificar seu comportamento durante os testes. Isso cria a possibilidade de que um sistema se comporte de maneira segura enquanto é observado, sem garantia de que manterá o mesmo padrão depois de colocado em operação.

Outro desafio é o surgimento de capacidades inesperadas durante o treinamento. À medida que os modelos aumentam em escala e sofisticação, novas habilidades podem aparecer sem terem sido previstas pelos desenvolvedores.

A Anthropic reconhece ainda que determinadas vulnerabilidades podem ser descobertas somente depois que um modelo já estiver disponível para milhões de usuários. Nesse cenário, problemas de segurança poderiam se tornar evidentes apenas após incidentes relevantes.

Segurança consome recursos

A companhia afirma dedicar recursos computacionais e humanos significativos à segurança, embora não revele o valor financeiro total desses investimentos.

Como exemplo, a Anthropic informa que, durante uma semana de julho, aproximadamente 6% de sua capacidade computacional destinada à pesquisa foi direcionada a trabalhos relacionados à segurança.

O esforço cria uma tensão econômica para empresas que disputam a liderança da inteligência artificial. Novos modelos tendem a aumentar o número de usuários e as receitas, enquanto atrasar lançamentos para realizar testes adicionais pode abrir espaço para concorrentes.

A Anthropic disputa esse mercado principalmente com OpenAI, Google, xAI e Meta, em uma corrida que envolve investimentos de centenas de bilhões de dólares em infraestrutura, chips, centros de dados e pesquisa.

Dilema entre velocidade e segurança

O CEO da Anthropic, Dario Amodei, tem defendido publicamente maior cautela no desenvolvimento de capacidades avançadas de inteligência artificial. A preocupação é que a competição entre empresas e países produza incentivos para acelerar lançamentos mesmo diante de incertezas sobre segurança.

Esse dilema aparece de forma explícita nos documentos apresentados aos investidores: a companhia reconhece que modelos mais poderosos são fundamentais para seu crescimento comercial, ao mesmo tempo que o avanço dessas capacidades pode aumentar os riscos que ela própria tenta controlar.

A Anthropic afirma considerar a construção de sistemas confiáveis e seguros uma “responsabilidade compartilhada” entre empresas, governos, pesquisadores e sociedade.

A companhia aposta também que o próprio mercado acabará recompensando empresas capazes de demonstrar maior compromisso com segurança.

O alerta ganha relevância diante da velocidade com que a inteligência artificial está avançando. No mesmo prospecto, a Anthropic sustenta que a tecnologia poderá transformar a economia global de maneira ainda mais profunda do que a industrialização, a eletricidade e a internet.

A combinação das duas mensagens resume o paradoxo apresentado pela própria companhia aos futuros investidores: a inteligência artificial pode se tornar uma das tecnologias economicamente mais importantes da história, mas seu desenvolvimento também poderá criar riscos cuja dimensão ainda não é plenamente conhecida.

Fonte: Brasil 247