Os meios de comunicação podem construir um chatbot de IA “confiável”?

Por Mia Sato, repórter de plataformas e comunidades com cinco anos de experiência cobrindo as empresas que moldam a tecnologia e as pessoas que usam suas ferramentas.

Os editores de notícias mergulharam de cabeça na inteligência artificial, usando ferramentas generativas de IA para produzir guias de viagem insípidos, blogs de filmes imprecisos e explicadores de iscas de SEO. Em geral, o objetivo tem sido: podemos criar mais páginas para anúncios sem pagar mais redatores?

Agora, um grupo de empresas de tecnologia está tentando incorporar IA generativa em seus sites, embora os leitores não encontrem a assinatura de uma máquina tão cedo. Em 1º de agosto, uma ferramenta de chatbot de IA foi adicionada ao Macworld, PCWorld, Tech Advisor e TechHive, prometendo que os leitores possam “obter [suas] perguntas técnicas respondidas pela IA, com base apenas em histórias e análises de nossos especialistas”.

O chatbot de IA, apelidado de Smart Answers, aparece em quase todos os artigos e nas páginas iniciais dos sites, que são de propriedade da empresa de mídia/marketing Foundry. O Smart Answers é treinado apenas no corpus de artigos em inglês dos quatro sites e exclui conteúdo patrocinado e postagens de ofertas. A experiência do usuário é semelhante a outras ferramentas de consumo, como ChatGPT: os leitores digitam uma pergunta e o Smart Answers emite uma resposta. Alternativamente, os leitores podem selecionar uma consulta em uma lista de perguntas frequentes, que é gerada por IA, mas com base no que as pessoas estão perguntando e clicando. As respostas do Smart Answers incluem links para os artigos dos quais as informações foram extraídas.

O objetivo, diz a liderança, é ajudar os leitores que procuram informações específicas em meio à montanha de textos.

“Temos uma enorme riqueza de conteúdo. Mas às vezes você não quer ler 2.000 palavras de grande jornalismo – às vezes você quer apenas um fato específico”, disse Neil Bennett, diretor global de produtos e dados da Foundry, ao The Verge.

A empresa vinha trabalhando no desenvolvimento de Respostas Inteligentes há cerca de cinco meses antes do lançamento, diz Bennett, e conduziu rodadas de testes com a equipe editorial por dois a três meses. Um grupo de trabalho da equipe editorial testou versões iniciais da ferramenta e classificou as respostas até ficarem satisfeitos com elas.

“O que realmente precisamos observar em nossos testes é que as respostas que eles dão são genuinamente confiáveis, são as mesmas respostas que um editor daria”, diz Marie Black, diretora editorial da Foundry.

A ideia é que as Respostas Inteligentes poderiam resolver um problema importante que os usuários têm visto com outras ferramentas de IA: a tendência de cometer erros, citar fontes inexistentes ou inventar informações falsas que pareçam plausíveis. O Smart Answers é treinado apenas em conteúdo que deve atender aos padrões de publicação por meios de comunicação confiáveis ​​- mas ainda é uma grande promessa dizer que o chatbot poderia fornecer respostas em nível de editor.

O Smart Answers enfrenta dúvidas que parecem simples. Quando perguntei ao chatbot: “Quando foi lançado o último iPod Nano?” afirmou incorretamente que foi lançado e descontinuado em 2022. Poucos dias depois, a resposta mudou: “Não tenho informações suficientes para responder a esta pergunta”.

O chatbot responde dessa forma com frequência; não sabe quem é o CEO do TikTok, por exemplo. Isso pode ser um reflexo do tipo de cobertura que os pontos de venda da Foundry fazem (ou não fazem). Parece uma limitação e uma coisa boa – por um lado, alguém que usa a ferramenta provavelmente ainda terá dúvidas que terá que procurar em outro lugar para obter respostas. Mas nestes casos, pelo menos não se trata de inventar algo só para obter uma resposta.

No caso da consulta do iPod Nano, Black sugeriu que talvez o chatbot estivesse se baseando em histórias mais antigas sobre iPods que não eram atualizadas há anos. (O dispositivo foi descontinuado em 2017.) Para erros como esse, o Foundry depende do feedback dos usuários sobre a utilidade das respostas – se os leitores ou a equipe encontrarem problemas, eles serão levados de volta à Miso.AI, a empresa de IA que constrói o chatbot do Foundry.

Smart Answers serve a outro propósito: receita de afiliados