Profissionais de IA estão ‘genuinamente assustados’ com futuro da humanidade, diz pesquisador que se demitiu da Anthropic

A Gazeta

As pessoas que trabalham na área de tecnologia estão “genuinamente assustadas” com a velocidade dos avanços da inteligência artificial e o que ela pode significar para o futuro da humanidade, disse um pesquisador que pediu demissão da Anthropic, empresa líder em inteligência artificial e criadora do Claude.

“Acredito que, se não diminuirmos o ritmo atual de progresso, há uma grande chance de todos morrermos em um futuro próximo”, afirmou Jacob Coxon, em entrevista à BBC.

Coxon, de 27 anos, passou os últimos três anos trabalhando com pré-treinamento de modelos de inteligência artificial — primeiro na OpenAI, depois na Anthropic —, mas anunciou na última semana seu pedido de demissão em uma longa publicação no X.

A postagem viralizou em meio às crescentes preocupações da indústria com a segurança da IA.

O ex-chefe de Coxon, Dario Amodei, diretor da Anthropic, pediu recentemente, em um ensaio, pediu que o ritmo de desenvolvimento de modelos de inteligência artificial seja desacelerado e monitorado de perto.

• Por que diretor da Anthropic está pedindo freio no desenvolvimento da IA
• Anthropic diz ter barrado tentativa de uso de IA para fazer armas biológicas
• O engenheiro da Anthropic que alertou para o risco de a IA exterminar a humanidade

Os chefes de duas empresas rivais de IA, Sam Altman da OpenAI e Elon Musk da xAI, disseram concordar com a proposta de Amodei de desaceleração e regulamentação em toda a indústria, bem como de monitoramento independente do desenvolvimento de modelos de IA.

Amodei afirmou no ensaio publicado no sábado (12/09) que o desenvolvimento da tecnologia não estava em questão, mas que os riscos associados a ela eram “sérios” e que empresas e governos precisavam de tempo para lidar com eles.

Coxon acolheu a sugestão de uma desaceleração, mas afirmou que esta precisaria ser coordenada com a China para evitar “uma corrida em escala internacional”.

“As pessoas que trabalham nessas empresas falam muito sério quando pedem regulamentação, porque se sentem presas em uma corrida. E têm medo das consequências dessa corrida”, disse ele ao programa Sunday with Laura Kuenssberg, da BBC.

De acordo com Coxon, a pergunta mais difícil de responder atualmente é como seria um apocalipse criado pela IA.

Um dos riscos destacados por Amodei em seu ensaio foi o de um enxame de bots agindo como um supercomputador que poderia dominar a internet.

Coxon afirmou que esse cenário poderia se tornar realista dentro de seis meses a um ano.

Em resposta à saída de Coxon, um porta-voz da Anthropic disse à BBC News: “Sempre fomos transparentes quanto ao fato de que a IA trará tanto enormes benefícios quanto riscos sem precedentes.”

“Para lidar com esses riscos, continuamos a desenvolver modelos com algumas das salvaguardas mais robustas do setor.”

A empresa tem sido pioneira no estudo do funcionamento dos modelos de IA, acrescentou o porta-voz. Foi a primeira a publicar uma estrutura para mitigar os riscos decorrentes do seu desenvolvimento — e também testa os seus modelos de forma “agressiva” e publica as conclusões para facilitar a análise e prevenir incidentes de “desalinhamento da IA”.

“Este trabalho também explica por que acreditamos que o mundo se beneficiaria se a indústria adotasse uma forma legal e verificável de trabalhar em conjunto para definir o ritmo de lançamento de modelos robustos”, afirmaram.

Muitos outros na indústria também expressaram suas preocupações desde a publicação de Coxon nas redes sociais, incluindo o cientista antropológico Evan Hubinger.

“Acreditamos sinceramente que a IA pode matar todos os humanos! Pessoalmente, acho que esse número ultrapassará 10% na próxima década”, disse Hubinger em resposta à publicação.

O cientista da computação e ganhador do Prêmio Nobel Geoffrey Hinton, conhecido como o “Pai da IA”, disse à BBC na sexta-feira (11/09) que uma probabilidade de 10% de a IA matar todos os humanos “não é irrazoável”.

Entretanto, Marc Warner, diretor executivo da Faculty AI, empresa especializada em segurança de IA, disse à BBC que era “extremamente difícil estabelecer uma probabilidade” de a IA matar todos os humanos.

“Mas é importante reconhecer que essas pessoas são muito sinceras no que dizem”, acrescentou, observando que os riscos da IA também vêm sendo alertados pelos chefes de diversas empresas de inteligência artificial há anos.

No entanto, algumas figuras do setor sugeriram que os comentários sobre os perigos e o poder da IA podem ter sido elaborados para gerar expectativa.

O diretor executivo da plataforma de IA Hugging Face, Clement Delangue, disse nas redes sociais: “Desculpe, mas perguntar a Jacob [Coxon] sobre o risco de extinção da IA é como perguntar ao técnico de ar condicionado sobre mudanças climáticas. Não estou dizendo que seja necessariamente desinteressante ou errado em si, mas vamos manter as coisas em perspectiva.”

Após a publicação do ensaio de Amodei no sábado, Delangue se ofereceu para participar das possíveis soluções propostas pelo líder antrópico.

Entretanto, o CEO da Nvidia, Jensen Huang, também discutiu os comentários de Coxon em uma conferência organizada pelo banco de investimentos Goldman Sachs na semana passada, segundo várias pessoas do grupo disseram à BBC. Elas afirmaram que ele os descartou como falsos.

Huang já afirmou anteriormente que a ideia de que a IA “será o fim da humanidade” é “um completo absurdo”.

E embora ele possa ter um interesse comercial no boom da IA — a Nvidia fabrica chips que alimentam sistemas de inteligência artificial —, seus comentários refletem uma crescente reação negativa no Vale do Silício aos alertas existenciais de funcionários atuais e antigos.

Outros críticos afirmam que a Anthropic tem tentado provocar uma pressão regulatória para bloquear a concorrência, deixando-a, juntamente com a OpenAI, com um duopólio (uma estrutura de mercado onde apenas duas empresas dominam a oferta de um produto ou serviço).

Segundo informações, a Anthropic está se preparando para uma oferta pública inicial (IPO) potencialmente recorde na bolsa de valores, uma medida que permitiria às pessoas comprar ações da empresa.

É esperado que a OpenAI, que recentemente foi avaliada em US$ 852 bilhões (), faça o mesmo.

No entanto, Altman, da OpenAI, afirmou na sexta-feira que isso não aconteceria este ano, classificando o momento como “imprudente” para tal, “dado tudo o que está acontecendo com a segurança”, em entrevista à revista Fortune. Ele sugeriu que 2027 seria mais provável.

Coxon disse que seus colegas temiam que o perigo pudesse chegar já nos próximos dois anos.

Ele disse que os funcionários de empresas de IA estavam “planejando o que fazer com suas vidas e pensando nos impactos de seu trabalho”, enquanto alguns estavam “considerando comprar um terreno em algum lugar porque estão com muito medo da instabilidade resultante do rápido progresso da IA”.

“Todos eles mantêm isso em mente diariamente enquanto trabalham com a tecnologia.”

Mas Coxon demonstrou certo otimismo em relação ao futuro da IA, declarando à BBC que as pessoas que pesquisam a tecnologia “realmente querem ver o lado positivo” de coisas como “resolver doenças e melhorar a vida de todos”.

• Usamos inteligência artificial para traduzir esta reportagem, originalmente escrita em inglês. O texto foi revisado por um jornalista da BBC antes da publicação. Saiba mais aqui sobre como a BBC está usando a inteligência artificial (link para texto em inglês).

• Por que alguns chefões do Vale do Silício rejeitam previsão de que IA pode extinguir a humanidade
• OpenAI diz ter resolvido em 88h problema matemático sem resposta há 90 anos — e a acusação feita por dois pesquisadores sobre a empresa
• ‘Ninguém está preparado para as consequências da inteligência artificial’, adverte cientista-chefe da OpenAI

Fonte: A Gazeta