LLM com entrega em domicílio: discos rígidos com um conjunto de modelos abertos de IA já estão à venda

Seja de brincadeira ou sério, a Torrance Computer Supply (TCS) começou a vender unidades com modelos pré-gravados em grandes idiomas. Estão disponíveis um HDD de 14 TB e um cartão de memória de 1 TB.

A opção de HDD é baseada em uma unidade MDD LFF barata de 14 TB (MDD16TSATA25672E): SATA-3, 7200 RPM, cache de 256 MB. Este é um dos discos rígidos mais acessíveis com essa capacidade, já que a MDD está empenhada na restauração de unidades usadas e na venda de estoque de grandes fornecedores sob sua marca. O disco rígido vem completo com um case Orico e um adaptador USB 3.0 com alimentação externa (12 V, 24 W).

Mika Baumeister/Unsplash

De acordo com a descrição, o disco rígido contém versões atuais de mais de duas dúzias de modelos de linguagem aberta (LLMs), incluindo várias variantes de Llama, Mistral, Nemotron, etc. capacidade máxima de até 820 GB. Os vendedores afirmam que mudam constantemente o conjunto dependendo das mudanças no mercado e na tecnologia. A compra custará US$ 229, mas se você devolver o drive, poderá receber US$ 125 para futuras compras na mesma loja.

O mesmo site também oferece um kit LLM “para os pobres” – quem desejar pode adquirir um cartão flash SanDisk 1TB Ultra microSDXC UHS-I de 1 TB com adaptador incluído. Esta opção custa apenas US$ 119 e vem com pelo menos três modelos de IA: Llama3.1 com 8, 70 e 405 bilhões de parâmetros. O valor prático dessas propostas é questionável, pois ninguém te incomoda em baixar os mesmos modelos e gravá-los em seu drive. Porém, algumas empresas oferecem serviços de transporte offline de dados, mas neste caso estamos falando de volumes de ordem de grandeza maiores.