Com a criação e popularização de modelos de inteligência artificial (IA) como o ChatGPT e o Google Gemini, ficou cada vez mais difícil acessar textos que não tenham sido criados total ou parcialmente por esses Modelos de Linguagem de Grande Escala (LLMs).
Esse uso tem gerado preocupação na comunidade acadêmica, diante da possibilidade de que conteúdos gerados por IA estejam cada vez mais presentes em publicações revisadas por pares.
Investigando a influência das LLMs na produção científica
Uma equipe de pesquisadores dos EUA e da Alemanha se uniu para analisar a presença das LLMs em artigos científicos. Eles analisaram 15 milhões de resumos biomédicos do PubMed para investigar o impacto detectável na escolha de palavras em artigos científicos.
Os resultados, publicados na revista Science Advances, mostram que pelo menos 13,5% (ou 1 em cada 7,41) dos artigos publicados em 2024 foram escritos com algum grau de uso das LLMs. Esses dados refletem o aumento de certas escolhas de palavras e de estilo de texto.
Para evitar limitações metodológicas, os autores do novo estudo examinaram mudanças no uso excessivo de certas palavras antes e depois do lançamento público do ChatGPT, a fim de identificar tendências reveladoras.
A explosão do uso da inteligência artificial levanta questionamentos sobre a precisão e a integridade de algumas pesquisas. Tentativas anteriores de quantificar o aumento do uso de LLMs na escrita acadêmica, no entanto, eram limitadas por dependerem de conjuntos de textos gerados por humanos e por LLMs. Essa abordagem, observam os autores, “…pode introduzir vieses, pois exige suposições sobre quais modelos os cientistas usam para escrever com auxílio de LLMs e como exatamente os utilizam.”
Leia mais:
- Artigos acadêmicos estão contaminados por IA
- Sua empresa já tem um agente de IA? Em breve, terá
- Inteligência artificial no setor público: a revolução da eficiência, transparência e inovação
Etapas e processos da pesquisa
- Base metodológica: A pesquisa teve como base estudos que analisaram o impacto da COVID-19 por meio da comparação de mortes em excesso antes e depois da pandemia.
- Abordagem comparativa: os pesquisadores aplicaram o mesmo método para analisar os artigos de “antes e depois” do surgimento dos LLMs, observando mudanças no uso de palavras em textos acadêmicos.
- Dados: foram analisados milhões de resumos de artigos científicos biomédicos disponíveis na base PubMed.
- Análise: o objetivo era identificar padrões de uso excessivo de palavras antes e após o lançamento público de LLMs como o ChatGPT.
- Mudança observada: após o surgimento dos LLMs, observou-se uma transição do uso excessivo de “palavras de conteúdo” (como substantivos técnicos) para palavras com estilo mais “floreado” e estilístico, como showcasing (exibindo), pivotal (fundamental) e grappling (enfrentando).
- Classificação gramatical: as palavras em excesso foram classificadas manualmente por classe gramatical para identificar tendências linguísticas.
- Conclusão: antes de 2024, 79,2% das palavras em excesso eram substantivos. Em 2024, 66% das palavras em excesso eram verbos e 14% eram adjetivos.
- Diferenças identificadas: a equipe também identificou diferenças notáveis no uso de LLMs entre áreas de pesquisa, países e periódicos.
O post Inteligência artificial já aparece em 1 a cada 7 artigos científicos apareceu primeiro em Olhar Digital.
