Modelo de IA de última geração roda em um pequeno computador Raspberry Pi Zero – pouco prático, mas funciona

O entusiasta Binh Pham criou um dispositivo USB baseado em um computador de placa única Raspberry Pi Zero, que executa localmente um grande modelo de linguagem de inteligência artificial que gera textos literários.

Fonte da imagem: youtube.com/@build_with_binh

O autor desenvolveu a parte de software do projeto usando a biblioteca llama.cpp e o utilitário llamafile, projetados para gerar grandes modelos de linguagem de IA. Isso provou ser uma tarefa desafiadora, já que o Raspberry Pi Zero tem apenas 512 MB de RAM e um processador ARMv6 desatualizado, o que impediu que o projeto fosse compilado conforme projetado originalmente. Para contornar essas limitações, o entusiasta teve que converter o conjunto de instruções otimizado para ARMv8 para llama.cpp e remover todas as notações e otimizações destinadas ao hardware moderno.

Binh Pham colocou o computador de placa única Raspberry Pi Zero e uma placa de expansão com uma porta USB para conexão a computadores modernos em um gabinete impresso em 3D. Devido aos recursos computacionais limitados, tivemos que limitar o contexto a 64 tokens e usar modelos contendo entre 15 milhões e 136 milhões de parâmetros. O menor, Tiny15M, apresentou a maior velocidade entre todos os modelos testados: 223 ms por token. Para Lamini-T5-Flan-77M esse número foi de 2,5 s por token, e para SmolLM2-136M – 2,2 s por token.

Com tamanha velocidade de operação, o dispositivo dificilmente pode ser chamado de prático, mas o autor do projeto decidiu não parar por aí. Ele sentiu que controlar a IA por meio da interface de linha de comando não era conveniente o suficiente e sugeriu uma maneira mais conveniente. Para enviar uma solicitação, o usuário precisa criar um arquivo de texto vazio no local especificado, cujo nome serve como uma solicitação ao modelo. Quando um arquivo é encontrado, o sistema envia uma solicitação à IA e escreve sua resposta no conteúdo do mesmo arquivo.

Com seu projeto, Binh Pham decidiu mostrar como seria a interação com modelos locais de IA no futuro.