O milagre da multiplicação de referências bibliográficas (fantasmas)

Por Theo Ruprecht — Revista Pesquisa Fapesp

Ariel Severino Em 2023, cerca de 4 em cada 10 mil artigos biomédicos continham ao menos uma referência bibliográfica fabri­cada. Nem parece tanto em um primeiro momento, mas repare no ritmo de crescimento: no último trimestre de 2025, a proporção já tinha pulado para 51,3 por 10 mil e, no começo de 2026, chegou a 56,9 — cerca de 14 vezes mais. A constatação vem de uma auditoria publi­cada na seção de correspondências do periódico The Lancet, que reuniu 2,5 milhões de estudos publicados de 2023 a fevereiro deste ano. Esse calhamaço de manus­critos somou incríveis 125.615.773 referências (sim, mais de 125 milhões). Como verificar a procedência de cada uma? Em vez de acessar “manualmente” todos os links, o que implicaria mais de 25 milhões de cliques de cada um dos cinco autores e prováveis diagnósticos de lesão por esforço repetitivo, foi desenvolvido um sistema automatizado que comparava os registros bibliográ­ficos com artigos de verdade disponíveis na rede.

Os dados mostram a aceleração dessa tendência no meio de 2024. Por quê? “A inflexão […] coincide com o atraso esperado entre a adoção disseminada de LLMs [modelos de inteligência artificial de linguagem de grande escala] e a publicação dos artigos, embora o aumento da atividade de paper mills [pesquisas falsas feitas sob encomenda] e mudanças nas práticas de indexação dos periódicos também possam ter contri­buído”, escrevem os autores. A cronologia é a seguinte: entre o fim de 2023 e o início de 2024, inicia-se a massi­ficação do uso de ChatGPT, Claude e afins. De 100 a 200 dias depois (tempo médio da submissão à publi­cação de um artigo, segundo os pesquisadores), o gráfico com a taxa de referências manipuladas começa a tomar a forma de uma montanha digna de teleférico.

Após a exposição do cenário, a carta parte para as reco­mendações, como as de que as editoras deveriam integrar processos de verificação automatizada das referências, antes da revisão por pares, e fazer triagens retrospectivas dos periódicos para, quando necessário, emitir corre­ções. Hoje, não existe um padrão bem estabelecido do que fazer com estudos com referências manipuladas. Na seção de comentários da revista The Lancet, Howard Bauchner, da Universidade de Boston, e Frederick Rivara, da Universidade de Washington, propõem a lógica da punição exemplar: “Acreditamos que um manuscrito publicado no qual apareça uma referência falsa deve ser retratado. […] A retratação pode levar ao maior escru­tínio das referências por autores de manuscritos”.

Um detalhe irônico da auditoria é que a principal suspeita de fomentar a multiplicação de referên­cias-fantasmas foi utilizada para diferenciar erros de padronização, uma falha menos grave, das refe­rências que realmente não existem. Sim, os autores recorreram à IA — no caso, o Claude — para identi­ficar se as menções a outros documentos só não batiam por estarem com erros de digitação, abreviações etc.

Fogo contra fogo?

A IA generativa polariza debates tanto na produção dos artigos quanto nas etapas de revisão por pares. Uma reportagem da revista Science esclarece como essa disputa não ocorre no vácuo. Vale ler na íntegra, mas dois pontos chamam a atenção logo de cara: alguns levantamentos sugerem que mais da metade dos revisores recorrem à inte­ligência artificial em alguma etapa do processo. E as editoras já estão testando as águas. Para ficar em um episódio descrito, a NEJM AI, afiliada do presti­giado periódico The New England Journal of Medicine, iniciou um projeto-piloto que oferece um modelo rápido de aprovação baseado em uma análise de IA do manuscrito, seguida da revisão de um editor (humano, só para constar). O atalho estaria disponível apenas para artigos com alta chance de aprovação.

“O uso da IA na revisão é uma questão tanto subes­timada como superestimada”, confidenciou-me o sociólogo Luiz Augusto Campos, editor-chefe da revista científica Dados e professor do Instituto de Estudos Sociais e Políticos da Universidade do Estado do Rio de Janeiro. Para quem mal enxerga os riscos, ele destaca que o próprio termo “inteligência artificial” não descreve muito bem o que essas ferramentas realizam: “Eu brinco que ela é uma máquina de produzir senso comum”. Isso pode significar que pesquisas mais ousadas saiam perdendo — ou mesmo que subespecia­lidades pouco estudadas recebam análises simplistas.

Há também o receio de que as IAs intensifiquem processos de exclusão. Um estudo em pré-print (ainda não publicado) botou uma ferramenta de LLM para aprovar ou rejeitar vários artigos idênticos, exceto pela autoria. Finja estar surpreso com o resultado: pesquisa­dores de instituições renomadas apresentaram maior taxa de aprovação. “A IA pode reforçar uma geopolí­tica desigual do conhecimento”, resume Campos.

Já para os que propõem tirar as máquinas da tomada, a reportagem da Science enumera pesquisas que apontam áreas onde a IA se sai melhor do que os atarefados revisores humanos. Detecção de plágio e erros, validação de métodos estatísticos e contas matemáticas e avaliação das já mencio­nadas referências bibliográficas estão entre elas.

Por enquanto, cada periódico e revisor têm adotado uma postura. A Política de Integridade na Atividade Científica do CNPq faz uma única menção mais direta ao tema: “É vedada a inserção de projetos de pesquisa de terceiros em ferramentas de inteligência artificial generativa para elaboração de pareceres científicos”.

A restrição também decorre do temor de que dados ainda não publicados sejam, de alguma forma, proces­sados e integrados pelos algoritmos. Já o SciELO vem solicitando aos periódicos da sua rede que estabeleçam critérios e, no passado, fez algumas recomendações gerais em um guia sobre a IA na comunicação cientí­fica. Ele reconhece que determinados recursos podem auxiliar os revisores e pede que eles estejam atua­lizados sobre como utilizá-los adequadamente (e sobre como analisar materiais produzidos com IA).

Considerando que o número de artigos publi­cados dobrou nos últimos cinco anos, o que pode ter a ver com a IA e certamente sobrecarrega os revi­sores, vem a pergunta: estaria a inteligência artificial ganhando espaço no mercado editorial da ciência apenas para apagar o incêndio que ela mesma alastrou?

Luiz Augusto Campos derrubou esse prin­cípio de hipótese com duas frases (proferidas com carinho, caro leitor): “A crise da revisão por pares é anterior à disseminação da IA. Esse modelo está sendo pressionado há pelo menos 20 anos”.

Ele ressalta o óbvio: a transformação do artigo na principal métrica de sucesso de um pesquisador e o incentivo a fatiar descobertas, dois dos muitos fatores que vêm abarrotando a mesa dos revisores com manus­critos, antecedem os LLMs. No momento, o que a inteligência artificial parece estar fazendo é ampliar virtudes e defeitos humanos. Até por isso, não deveria ser usada sozinha — provavelmente nunca será confiável o suficiente para isso. “Não sei dizer qual o limite ideal entre o lado humano e o artificial da revisão por pares. Só sei que não estamos nele”, conclui.

Fonte: Revista Pesquisa Fapesp