Brecha grave de segurança pode estar por trás do adiamento da nova Siri
Como bem sabemos, a Siri mais “personalizável” e “conversacional”, que foi prometida pela Maçã para o iOS 18, teve seu lançamento adiado para 2026. Esse anúncio, o qual decepcionou muita gente, gerou várias especulações envolvendo o motivo por trás dessa decisão — reação que, convenhamos, era de se esperar, dada a posição um tanto preocupante da empresa no mercado de IA.
Algumas dessas teorias, no entanto, fazem bastante sentido e podem muito bem estar por trás do real motivo que fez a Apple tomar uma medida tão drástica (e que provavelmente nunca descobriremos). Uma das mais interessantes, vale destacar, foi compartilhada recentemente por Simon Willison, criador da ferramenta de análise de dados Datasette e grande entusiasta de segurança no mundo dos LLMs 1.
Segundo ele, isso pode ter a ver com uma vulnerabilidade presente em basicamente toda ferramenta do tipo e que até hoje não pôde ser revolvida nem mesmo por empresas muito mais bem estabelecidas no mercado de IA (como OpenAI, Google, Anthropic, etc): prompt injection.
Como lembrado pelo pesquisador, essa nova versão da Siri funciona ao responder pedidos para acessar informações do usuário de modo a realizar ações por ele no dispositivo, salvando, assim, tempo e esforço. Acontece que pessoas mal intencionadas podem lançar mão de táticas para expor essas ferramentas a instruções maliciosas e, com isso, atacar o usuário ou extrair informações sensíveis:
Essa é a pior combinação possível para ataques de prompt injection! Sempre que um sistema baseado em LLM tem acesso a dados privados, ferramentas que ele pode chamar e exposição a instruções potencialmente maliciosas (como emails e mensagens de texto de estranhos não confiáveis), há um risco significativo de que um invasor possa subverter essas ferramentas e usá-las para danificar ou exfiltrar os dados de um usuário.
Como destacado por John Gruber, do Daring Fireball, há maneiras de mitigar esse tipo de brecha, mas nenhuma empresa até agora conseguiu extingui-la por completo. Por isso, inclusive, existe o risco de a Apple nunca conseguir lançar essas novidades, caso a empresa não faça uma descoberta sem precedentes que bote um fim nesse verdadeiro tendão de Aquiles dos LLMs — algo necessário, já que estamos falando de informações privadas dos seus milhões de usuários ao redor do mundo.
Caso esse cenário mais pessimista se concretize, estaremos diante de um dos maiores erros de cálculo da história da Apple, que não só chegou a apresentar essas novidades durante a WWDC24, como também as promoveu em inúmeros comerciais — que também foram muito criticados pela forma como imaginavam o uso da Apple Intelligence no dia a dia dos usuários da empresa.