\nA empresa chinesa Moonshot AI apresentou um grande modelo de linguagem, Kimi K3 – possui 2,8 trilhões de parâmetros e suporta até 1 milhão de tokens, podendo trabalhar não só com texto, mas também com imagens e vídeo. O modelo lida com tarefas complexas de programação, pesquisa científica e outras tarefas de várias etapas.\n\n
\n\nFonte da imagem: kimi.com\n\nOs desenvolvedores admitem que em termos de capacidades, o Kimi K3 ainda é inferior aos modelos fechados mais poderosos do mundo – Anthropic Claude Fable 5 e OpenAI GPT-5.6 Sol; mas entre os abertos apresenta os melhores resultados na maioria dos testes. A empresa pretende publicar os pesos completos do modelo até 27 de julho junto com um relatório técnico, que apresentará a descrição da arquitetura, mecanismos de treinamento e resultados de testes.\n\nAs principais mudanças em relação à geração anterior são a arquitetura Kimi Delta Attention (KDA) e o mecanismo Attention Residuals (AttnRes). Eles permitem que o modelo retenha o contexto de forma mais eficaz durante longas cadeias de raciocínio. A arquitetura Mixture-of-Experts (MoE) inclui 896 “especialistas”, dos quais 16 são ativados simultaneamente, o que reduz significativamente a carga computacional.\n\nNa prática, essas soluções permitem que o Kimi K3 trabalhe com repositórios de código muito grandes, acesse de forma independente a interface de linha de comando e ferramentas de desenvolvimento, analise capturas de tela de interfaces e também auxilie no desenvolvimento de jogos, projetos web e CAD. Como parte dos testes, o modelo escreveu seu próprio compilador para programação de GPUs e também em 48 horas projetou seu próprio chip para inferência de IA em sua própria arquitetura: na simulação, um cristal de 4 mm² com frequência de clock de 100 MHz gerou 8.700 tokens por segundo.\n\nQuando a modelo recebeu uma tarefa na área de astrofísica computacional, ela estudou de forma independente 20 artigos científicos, projetou um pipeline computacional, processou mais de 300 equações de estado, encontrou inconsistências em fórmulas publicadas, escreveu mais de 3.000 linhas de Python e visualizou os resultados emHTML. Para um ser humano, esse trabalho levaria até duas semanas; o modelo o completou em duas horas.\n\nO Kimi K3 é multimodal. Ela sabe como trabalhar com vídeo: criar vídeos de treinamento e fazer edições, selecionar fragmentos de vídeo e sincronizar o visual com música: em um exemplo, ela editou de forma independente um vídeo publicitário a partir de 56 fragmentos originais. Mesmo para um editor experiente, essa tarefa levaria até dois dias úteis.\n