\nA Apple está conversando com a startup PrismML sobre o possível uso de sua tecnologia para reduzir significativamente o tamanho de um grande modelo de linguagem sem sacrificar sua funcionalidade e inteligência. Isso permitirá o uso de poderosos modelos de IA em smartphones iPhone sem conexão com a nuvem, informou The Information, citando suas fontes.\n\nAs negociações das empresas começaram depois que o PrismML alcançou um avanço tecnológico significativo ao compactar com sucesso o modelo aberto de IA Qwen 3.6 do Alibaba com 27 bilhões de parâmetros para rodar localmente no iPhone 17 Pro. Colocar um modelo com esses parâmetros em um smartphone requer o uso de uma “arquitetura esparsa” – ou seja, o dispositivo ativa apenas parte do “cérebro” da IA em um determinado momento para evitar superaquecimento. Foi relatado que o PrismML mudou completamente essa abordagem.\n\nA startup PrismML, ainda em modo furtivo, foi criada a partir de uma divisão do Instituto de Tecnologia da Califórnia (Caltech). Sua solução é construída em arquiteturas ultradensas de 1 bit e ternárias (reduz a quantidade de memória usada em até 14 vezes, enquanto roda até 8 vezes mais rápido). Usando a tecnologia PrismML, você pode reduzir o consumo de memória de um modelo de IA de 54 GB para menos de 4 GB. Ao mesmo tempo, todos os 27 bilhões de parâmetros permanecem ativos simultaneamente, sem comprometer o desempenho do benchmark.\n\nPara a Apple, usar IA local significa total privacidade do usuário, tempos de resposta instantâneos e total independência das comunicações celulares. Além disso, a empresa não terá que pagar contas astronômicas pelo uso do poder computacional do data center.\n
