O Google apresentou seus chips de IA TPU 8, com foco em eficiência e em um serviço abrangente de IA chamado Workspace Intelligence.

O Google anunciou o Workspace Intelligence, um serviço unificado com inteligência artificial que oferece integração completa ao seu conjunto de aplicativos de produtividade, bem como suas TPUs de oitava geração — também conhecidas como TPUs — que agora contam com modelos de treinamento e inferência de IA.

Fonte da imagem: Google

O Workspace Intelligence foi projetado para analisar as “relações semânticas complexas” entre os dados apresentados no Gmail, Google Docs e outros aplicativos do Workspace, levando em consideração os colaboradores em projetos ativos e outras informações específicas da empresa. O serviço coleta dados de forma autônoma, removendo barreiras contextuais para fornecer aos usuários tudo o que eles precisam no momento em que pretendem realizar uma ação.

Usando o mecanismo de raciocínio Gemini, o Workspace Intelligence entende as necessidades atuais do usuário. Com base em padrões de trabalho e comunicação anteriores, ele aprende o estilo de trabalho, a voz e as preferências de formatação de dados exclusivos de cada usuário, adaptando o conteúdo gerado ao seu estilo. As fontes de dados incluem anotações de reuniões, e-mails e arquivos salvos. Serviços externos, como Asana, Jira e Salesforce, podem ser conectados.

O serviço alimenta os recursos AI Inbox e AI Overviews no Gmail, bem como o novo serviço Ask Gemini no Google Chat: os usuários simplesmente formulam uma meta de trabalho e o Gemini executará a tarefa em segundo plano e apresentará os resultados na interface do chat. No Google Docs, o Workspace Intelligence pode criar infográficos com base nos dados comerciais do usuário, preparar várias imagens em um estilo consistente e editar o documento com base nos comentários.No Google Slides, o serviço realiza análises contextuais e apresenta os slides de acordo com a identidade visual da empresa; no Google Sheets, ele preenche os dados recebidos na caixa de diálogo.interface.

TPU 8t (esquerda) e TPU 8i (direita)

O Google também anunciou a oitava geração de aceleradores de IA TPU (Unidade de Processamento de Tensores), agora dividida em arquiteturas para treinamento e implantação de modelos de IA. Projetado para treinamento, o TPU 8t oferece uma melhoria de 2,8 vezes na relação custo-benefício em comparação com a geração anterior. Um único sub-bloco agora pode acomodar até 9.600 chips e 2 PB de memória compartilhada de alta velocidade, com o dobro da largura de banda entre chips da geração anterior. A tecnologia TPUDirect proporciona um aumento de dez vezes na velocidade de transferência de dados, conectando diretamente os TPUs aos dispositivos de armazenamento. Até 1 milhão de chips podem ser implantados em um único cluster lógico usando a arquitetura de rede Virgo Network, a biblioteca JAX e o aplicativo de orquestração Pathways.

O chip TPU 8i foi projetado para inferência, ou seja, a implantação de modelos de IA pré-treinados. Ele oferece até 80% mais desempenho por dólar do que os aceleradores da geração anterior. Ele pode lidar com o dobro de clientes pelo mesmo custo. O TPU 8i possui 288 GB de memória de alta velocidade e 384 GB de SRAM integrada — o triplo da geração anterior. O Google dobrou o número de hosts de CPU físicos ao adotar seus próprios chips Arm Axion e utilizou uma arquitetura de memória não uniforme (NUMA). A empresa otimizou os aceleradores para modelos de Mistura de Especialistas (MoE), dobrando a largura de banda de interconexão para 19,2 Tbps. A nova arquitetura Boardfly ajudou a reduzir o diâmetro máximo da rede em mais de 50%.E o bloco Collectives Acceleration Engine (CAE) ajudou a desafogar o acelerador principal, reduzindo a latência emcristal em até cinco vezes.