“Nova” Siri tem desempenho péssimo em teste de conhecimento esportivo
A Siri — aquela que chegou com o iOS 18.2 com recursos empurrados por IA — virou assunto depois que um experimento revelou que ela ainda tem muito a melhorar quando se trata de responder perguntas simples.
A ideia foi do Paul Kafasis, do site One Foot Tsunami, que resolveu perguntar à Siri quem venceu cada Super Bowl, do I ao LX. O resultado: apenas 20 respostas corretas em 58 tentativas, um taxa de acerto que beira os 34% — nada bom.
O teste mostrou que a Siri, além de errar bastante, às vezes dava respostas que não faziam sentido. Um dos casos mais bizarros foi ela insistir que o Philadelphia Eagles tinha ganhado 33 Super Bowls, quando, na realidade, o time só venceu um.
Para piorar, ela chegou a engatar 15 erros seguidos ao ser questionada sobre os vencedores de Super Bowls específicos, entre os jogos XVII e XXXII.
E não foi só isso: em algumas ocasiões, a Siri até acertou, mas por sorte. Ao responder sobre o Super Bowl X, por exemplo, ela citou o vencedor correto, mas usando informações erradas sobre o Super Bowl IX.
Outras vezes, ela saía completamente do tema e trazia informações desconexas, como estatísticas aleatórias ou trechos de artigos da Wikipedia.
Outros assistentes fazem melhor?
A curiosidade de Paul inspirou o blogueiro John Gruber, do Daring Fireball, que comparou o desempenho da Siri com outras ferramentas, como o ChatGPT, o Kagi, o DuckDuckGo e o Google. Sim, meus amigos, a diferença foi gritante.
Eles não só acertaram todas as perguntas, como também lidaram bem com questões mais complicadas, como os vencedores dos Super Bowls LIX e LX, que sequer aconteceram. Eles explicaram direitinho que os jogos estão agendados, mas sem resultados.
Gruber também fez uma comparação com a versão antiga da Siri, e adivinhe: ela era menos “inteligente”, mas mais útil.
Isso porque, quando não sabia a resposta, a Siri antiga redirecionava para links da web, onde o usuário podia encontrar a informação correta. Já a Siri atual, mais “sofisticada”, muitas vezes responde de forma confiante, mas completamente errada — o que acaba sendo pior.
Toda essa análise mostra que a Maçã ainda tem um caminho longo para tornar a Siri realmente confiável, mesmo em temas tão populares quanto o Super Bowl.
E essa questão, é válido destacar, vai além de errar respostas: quando uma assistente virtual dá informações erradas com confiança, isso pode causar desinformação e prejudicar a experiência do usuário.
Por ora, se você quiser informações precisas, talvez seja melhor contar com outras ferramentas. A Siri ainda tem seus méritos, é claro, mas ela não é exatamente a melhor fonte para perguntas que exigem respostas confiáveis.
A Apple, por sua vez, parece já trabalhar numa Siri mais conversacional — pelo menos é o que dizem os rumores. A gigante de Cupertino estaria planejando anunciar essa versão ainda neste ano, mas ela só deverá chegar aos usuários em 2026, com o iOS 19.