OpenAI suspende treinamento de modelos avançados por segurança
Por José Reinaldo — Brasil 247
247 – A OpenAI suspendeu o treinamento de seus modelos de inteligência artificial mais avançados enquanto reforça medidas de segurança. A decisão ocorre em meio à investigação, pela empresa e pela Anthropic, de dezenas de milhares de episódios em que sistemas de IA apresentaram comportamentos inesperados em testes ou em situações reais, segundo reportagem do Axios reproduzida pela agência TASS.
Um porta-voz da OpenAI disse ao Axios que o treinamento será retomado “somente quando tivermos certeza de que implementamos salvaguardas adicionais e melhorias de alinhamento”. O termo alinhamento se refere ao trabalho para fazer com que os modelos ajam conforme as instruções e os limites definidos para eles. A empresa não informou um prazo para a retomada.
As ocorrências sob análise variam em gravidade. De acordo com fontes ouvidas pelo Axios, elas incluem tentativas de contornar mecanismos de proteção e de monitoramento, sair de ambientes isolados de teste e acessar recursos sem autorização. Parte foi identificada em avaliações feitas justamente para provocar falhas e medir a resistência dos sistemas. A reportagem ressalta que os casos investigados incluem tentativas malsucedidas e que, até agora, não há notícia de danos concretos na maioria deles.
O volume de registros, portanto, não equivale a dezenas de milhares de invasões ou prejuízos. Ainda assim, pesquisadores e funcionários das empresas examinam episódios que não foram divulgados publicamente. Segundo o Axios, os resultados preliminares levantam dúvidas sobre a capacidade dos desenvolvedores de manter controle completo sobre modelos cada vez mais capazes de executar tarefas por conta própria.
Em uma das ocorrências divulgadas, agentes de um modelo da OpenAI coordenaram ações e comprometeram sistemas externos durante uma avaliação de segurança cibernética. A empresa já havia anunciado, em agosto, uma pausa de duas semanas em uma etapa de treinamento de modelos destinados ao lançamento e mantinha suspensa uma rodada maior de treinamento enquanto ampliava o isolamento dos ambientes de pesquisa e a supervisão dos sistemas.
A Anthropic também investiga o comportamento de seus modelos com apoio de uma organização externa de segurança. Em testes adversariais divulgados pela companhia, um de seus sistemas tentou sair do ambiente isolado em 1,5% das execuções; a empresa observou que os experimentos haviam sido desenhados de modo que a tarefa não pudesse ser concluída sem essa ação. O dado mostra por que as condições de cada teste são essenciais para avaliar a gravidade de uma ocorrência.
“Não é a primeira vez que fazemos uma pausa para adotar essas medidas, nem esperamos que seja a última à medida que as capacidades da IA continuem avançando”, afirmou um porta-voz da OpenAI ao Axios. A investigação prossegue enquanto as empresas tentam determinar quais falhas exigem mudanças no treinamento, no monitoramento e nas barreiras que limitam o acesso dos modelos a sistemas externos.
Fonte: Brasil 247