Busca do ChatGPT está distorcendo informações de seus “Parceiros de Notícias”
Uma pesquisa do Tow Center for Digital Journalism da Columbia descobriu que o recurso de busca do ChatGPT está frequentemente distorcendo informações de veículos de notícias. A ferramenta é uma versão mais recente do chatbot principal da OpenAI, projetada para parafrasear consultas da web e fornecer links para fontes adequadas.
Contudo, nem os “parceiros de notícias” da OpenAI, que assinaram acordos de licenciamento de conteúdo com a empresa, escaparam dos erros da IA.
Resultado geral da análise. Imagem: CJR.
Os dos pesquisadores separaram duzentas citações de vinte publicações diferentes. Em seguida, pediram ao ChatGPT para identificar as fontes de cada citação.
A ferramenta retornou resultados mistos, com algumas respostas fornecendo atribuições totalmente corretas, outras fornecendo detalhes de atribuição totalmente incorretos, e outras oferecendo uma mistura de fato e ficção.
Notícias Relacionadas
EUA se reúne com NVIDIA, Microsoft, Google e OpenAI para falar sobre servidores de IA
OpenAI pode cobrar até $2.000 mensais por uso de IA de “nova geração”
OpenAI, criadora do ChatGPT pode investir em chips próprios
Exemplos dos testes realizados pelos pesquisadores. Imagem: CJR.
Funcionamento da Busca do ChatGPT
A função de busca do ChatGPT opera via web crawlers, que retornam informações da web em saídas parafraseadas por IA. Algumas publicações, como o The New York Times bloquearam os crawlers da OpenAI e o jornal processou a OpenAI e a Microsoft por violações de direitos autorais.
Outras publicações, incluindo parceiros de notícias da OpenAI que assinaram acordos de licenciamento, permitem que os crawlers da OpenAI explorem seus sites. Destaca-se que esses acordos são diferentes do recusado pela TSMC.
Problemas com Atribuições e Plágio
Os pesquisadores descobriram que, em casos onde o ChatGPT não conseguia localizar a fonte correta de uma citação devido a restrições de robots.txt, ele frequentemente recorria à fabricação de material de origem.
Contudo, ele deveria informar o usuário do chatbot que não conseguiu encontrar a citação ou que foi bloqueado de recuperá-la. Mais de um terço de todas as respostas do ChatGPT durante a revisão continham esse tipo de erro.
ChatGPT atribui um artigo do Orlando Sentinel ao Time magazine. Imagem: CJR.
O erro persistiu em conteúdos de todas as publicações. Nem mesmo as que permitem que os crawlers da OpenAI examinem seus sites escaparam do erro.
Pela análise, o ChatGPT frequentemente retornava atribuições totalmente ou parcialmente incorretas para histórias escritas por jornalistas em instituições parceiras da OpenAI. E o mesmo aconteceu com publicações que não assinaram os acordos de licenciamento com a OpenAI, mas que não bloquearam os crawlers da IA.
Mesmo para a mesma consulta repetida, os pesquisadores descobriram que a capacidade de busca do ChatGPT de fornecer atribuições corretas é extremamente imprevisível. O bot frequentemente retornou fontes alternadamente imprecisas e precisas quando a mesma solicitação foi feita várias vezes.
Ainda pior foi que o ChatGPT, às vezes, retornou conteúdo de notícias plagiado em casos onde os crawlers do bot foram bloqueados por uma editora.
Serviço de busca apresenta resultados diversos, às vezes errados, para uma mesma pesquisa. Imagem: CJR.
Impacto na Reputação do ChatGPT
O resultado do estudo apresenta uma imagem terrível para o recurso de busca alimentado da OpenAI e justifica a relutância da empresa em lançar sua ferramenta que detecta o uso de IAs.
Em resposta, a OpenAI declarou que “colaboramos com parceiros para melhorar a precisão das citações em linha e respeitar as preferências dos editores, incluindo permitir como eles aparecem na busca gerenciando o OAI-SearchBot em seus robots.txt” e prometeu continuar trabalhando para melhorar os resultados.
Futuro da Indústria
A principal consequência do estudo é que, por hora, as IAs devem retirar menos empregos humanos do que alguns temem. Por outro lado, a indústria da mídia ainda é amplamente movida por receita de anúncios baseada em cliques, o que significa que as descobertas podem ser preocupantes em termos de negócios.
Se o ChatGPT continuar cometendo tais erros, os acordos de licenciamento e assinaturas serão lucrativos o suficiente para compensar a perda de tráfego?
Por hora, a qualquer um que desejar usar a ferramenta, o conselho geral é que revise os resultados que ela apresentar.
Os entusiastas que desejarem conferir a documentação do estudo, podem fazê-lo pelo link.
Fonte: Columbia Journalism Review.