O Ollama, um aplicativo desenvolvido para executar localmente modelos de inteligência artificial em computadores com Windows, macOS e Linux, agora oferece suporte à aceleração de hardware em sistemas com processadores Apple M5.
Fonte da imagem: ollama.com
Ao contrário de aplicativos baseados em nuvem, como o ChatGPT, cujos modelos não podem ser executados localmente e exigem uma conexão com a internet, o Ollama permite baixar e executar modelos de IA diretamente em computadores pessoais. Os modelos de código aberto são publicados em plataformas da comunidade ou enviados diretamente por desenvolvedores e podem ser baixados gratuitamente.
No entanto, executá-los localmente pode ser um desafio, já que os modelos de IA normalmente consomem grandes quantidades de RAM e memória de vídeo do sistema. Para superar esse problema, os desenvolvedores do aplicativo adicionaram suporte à estrutura de aprendizado de máquina MLX da Apple e à arquitetura de memória unificada no Ollama 0.19, aumentando seu desempenho em sistemas com chips da Apple.
Contudo, isso atualmente se aplica apenas aos chipsets mais recentes da Apple: M5, M5 Pro e M5 Max. O Ollama 0.19 aproveita os aceleradores de rede neural da plataforma, reduzindo o tempo para a primeira emissão de tokens e proporcionando maior velocidade geral de geração de tokens. Como resultado, tanto agentes de IA pessoais, como o OpenClaw, quanto agentes especializados, incluindo OpenCode, Anthropic Claude Code e OpenAI Codex, ficaram mais rápidos. Existe ainda outra limitação: o computador deve ter pelo menos 32 GB de memória unificada.