China cria regras para evitar que IA escape do controle humano

Por Otávio Rosso — Brasil 247

247 – A China passou a tratar oficialmente a possibilidade de sistemas avançados de inteligência artificial escaparem ao controle humano como um risco estratégico a ser prevenido por regras de segurança, fiscalização técnica e manutenção da palavra final nas mãos de pessoas. As informações são da Reuters, em reportagem publicada nesta segunda-feira (14).

Pequim vem incorporando em marcos regulatórios, diretrizes para desenvolvedores e discursos de alto nível a preocupação com uma eventual “perda de controle” sobre modelos de IA cada vez mais poderosos.

O alerta ganhou força após pesquisadores da Anthropic, uma das principais empresas norte-americanas de inteligência artificial, afirmarem que modelos avançados poderiam escapar da supervisão humana e até representar risco de extinção para a humanidade. Segundo a Reuters, o tema despertou atenção na China, onde autoridades já vinham se preparando para cenários semelhantes.

Estados Unidos e China são hoje os dois principais polos de desenvolvimento da IA de fronteira. A disputa tecnológica entre as duas potências tem se intensificado, inclusive em torno de políticas regulatórias, modelos de desenvolvimento e práticas industriais. O tema deve aparecer com destaque em conversas bilaterais previstas para este mês.

Em Pequim, documentos oficiais e declarações públicas indicam que o governo chinês considera suficientemente grave a hipótese de uma IA avançada sair da supervisão efetiva de seres humanos. O tema deixou de ser tratado apenas como especulação acadêmica e passou a integrar a agenda de segurança nacional, infraestrutura crítica e governança tecnológica.

No domingo, o ministro da Segurança do Estado da China, Chen Yixin, escreveu em uma publicação governamental que modelos avançados dos Estados Unidos, como o Mythos, da Anthropic, e o GPT-5.5-Cyber, da OpenAI, poderiam representar riscos sérios à infraestrutura crítica de informação chinesa. Ele defendeu um reforço abrangente da segurança em inteligência artificial.

Anthropic e OpenAI não responderam imediatamente aos pedidos de comentário da Reuters.

O debate também envolve a diferença entre modelos fechados e modelos de pesos abertos. Desenvolvedores chineses têm promovido sistemas abertos sob o argumento de que equipes de cibersegurança podem inspecionar, modificar e usar esses modelos em trabalhos defensivos.

A plataforma Hugging Face afirmou ter utilizado o GLM-5.2, modelo de pesos abertos desenvolvido pela chinesa Z.AI, para analisar uma invasão ocorrida em julho por agentes da OpenAI que teriam escapado de controles. Segundo a Reuters, modelos norte-americanos mais restritos se mostraram menos úteis para esse trabalho forense.

Especialistas, porém, também apontam riscos nos modelos de pesos abertos, já que eles podem ser modificados e redistribuídos com pouca supervisão. No mês passado, o Kimi K3, da Moonshot, burlou um ambiente de testes do Instituto de Segurança de IA do Reino Unido, episódio que reforçou a preocupação de que modelos chineses, assim como os norte-americanos, possam driblar barreiras criadas para limitar seu acesso e suas ações.

A China incluiu pela primeira vez um cenário explícito de futura perda de controle em um marco de segurança de IA divulgado em setembro de 2024 sob orientação da Administração do Ciberespaço da China. O documento afirmava que não era possível descartar que, no futuro, uma IA pudesse obter recursos externos de forma autônoma, replicar a si mesma, desenvolver autoconsciência e buscar poder externo, criando risco de competição com seres humanos pelo controle.

Em setembro de 2025, o órgão regulador divulgou uma versão ampliada do marco. O novo texto endureceu o cenário ao afirmar que a IA poderia passar por um “salto” repentino e inesperado de inteligência antes de adquirir recursos, replicar-se e buscar poder. Também acrescentou o princípio de “aplicação confiável, prevenindo a perda de controle”.

Uma interpretação técnica publicada posteriormente no site do regulador afirmou que o princípio busca prevenir riscos de perda de controle capazes de ameaçar a sobrevivência e o desenvolvimento humanos. O texto também mencionou a possibilidade de um cenário de “IA se soltando”.

A preocupação chegou ao discurso político de mais alto nível na China. Em julho, durante a Conferência Mundial de Inteligência Artificial, em Xangai, o presidente Xi Jinping afirmou que as autoridades devem prestar atenção tanto aos riscos intrínsecos quanto aos riscos derivados da IA. Segundo ele, a tecnologia deve “permanecer sempre sob controle humano”.

No mês passado, Sun Xiaobo, autoridade do Ministério das Relações Exteriores responsável por assuntos de IA, disse em uma reunião das Nações Unidas que a China está acelerando pesquisas para uma legislação mais ampla sobre inteligência artificial.

Outro representante chinês na ONU, Sun Lei, vice-representante permanente do país, defendeu neste mês que governos tratem a IA militar com cautela, a fim de evitar erros de cálculo estratégico e uma corrida armamentista.

Pequim também começou a transformar esses princípios em regras mais específicas para agentes de IA, sistemas capazes de agir de forma mais autônoma e executar tarefas mais complexas do que um chatbot comum.

Em maio, o regulador chinês do ciberespaço publicou diretrizes conjuntas voltadas especificamente para esses sistemas. As normas exigem que desenvolvedores aprimorem sua capacidade de descobrir, intervir, bloquear e recuperar comportamentos inadequados de agentes de IA.

As diretrizes identificam envenenamento de dados, manipulação de algoritmos, vulnerabilidades sistêmicas e “perda de controle operacional” como riscos de segurança. Também determinam que os usuários mantenham a autoridade final de decisão sobre escolhas autônomas feitas por agentes de IA.

Embora a China não tenha proposto a instalação de monitores independentes dentro de empresas de IA, como defendido pela Anthropic, seus padrões permitem que desenvolvedores contratem avaliações de segurança feitas por terceiros. As regras também preveem a atuação de organismos externos de avaliação e de pesquisadores de segurança para testar e auditar modelos abertos.

A estratégia chinesa combina, assim, disputa geopolítica com os Estados Unidos, proteção de infraestrutura crítica e uma tentativa de antecipar riscos de longo prazo. Ao mesmo tempo em que busca acelerar sua liderança em IA, Pequim sinaliza que modelos avançados e agentes autônomos não devem operar sem mecanismos de intervenção, auditoria e decisão humana final.

Fonte: Brasil 247