A empresa norte-americana Cloudflare, que fornece serviços CDN, usará aceleradores NVIDIA em sua rede global de borda para processar cargas de trabalho de IA com uso intensivo de recursos, em particular modelos de linguagem grande (LLM), de acordo com a Datacenter Dynamics. Como observa a NetworkWorld, a iniciativa se chama Workers AI. Os clientes poderão acessar o poder dos dispositivos NVIDIA para implementar seus projetos de IA.
A Cloudflare também utilizará switches Ethernet NVIDIA e um conjunto completo de software de inferência NVIDIA, incluindo TensorRT-LLM e Triton Inference. Não há planos para oferecer suporte a modelos de IA personalizados inicialmente: os clientes terão acesso apenas ao Meta✴ Llama 2 7B e M2m100-1.2, OpenAI Whisper, Hugging Face Distilbert-sst-2-int8, Microsoft Resnet-50 e Baai bge-base- en-v1.5. Esta lista está planejada para ser expandida no futuro.
Nada é dito sobre os modelos de aceleradores que a Cloudflare utilizará. Mas note-se que até ao final de 2023, as soluções NVIDIA serão implementadas em mais de 100 cidades, e durante 2024 aparecerão em quase todas as áreas de presença da Cloudflare. A rede global da empresa utiliza data centers em mais de 300 cidades ao redor do mundo.
Fonte da imagem: NVIDIA
Outra nova iniciativa de IA da Cloudflare é o Vectorize, um banco de dados vetorial. Isso ajudará os desenvolvedores a criar aplicativos baseados em IA inteiramente na plataforma Cloudflare. Diz-se que Vectorize receberá integração com Workers AI. Por fim, está sendo preparado o AI Gateway, um sistema de otimização e gerenciamento de desempenho projetado para funcionar com aplicações de IA implantadas na rede Cloudflare.
De acordo com o jornalista da Bloomberg Mark Gurman, as próximas versões dos computadores Mac…
De acordo com fontes online, a Apple está testando um novo Magic Keyboard barato, projetado…
O Windows 11 build 27695, que recentemente foi disponibilizado para Windows Insiders no canal Canary,…
No Linux Kernel 6.12, de acordo com o recurso Phoronix, haverá uma função para exibir…
A Samsung apresentou o smartphone Galaxy Quantum 5, que é uma versão do Galaxy A55…
As ferramentas alimentadas por IA da Meta✴ Platforms, disponíveis no Facebook✴, Instagram✴, WhatsApp e Threads,…