Categorias: Sem categoria

A AMD explicou como executar um bot de IA localmente em um PC com Ryzen ou Radeon – a NVIDIA torna isso mais fácil

A NVIDIA anunciou recentemente o aplicativo Chat with RTX para executar chatbots locais em computadores com placas gráficas RTX. Agora a AMD revelou como executar um chatbot de IA localmente em um de seus modelos abertos de linguagem grande (LLMs) usando seus processadores e placas gráficas. A empresa sugere o uso do aplicativo de terceiros LM Studio.

Fonte da imagem: AMD

Para executar um chatbot de IA, você precisará de um sistema com o acelerador Ryzen AI, que está disponível apenas em algumas APUs das séries Ryzen 7000 e 8000 (Phoenix e Hawk Point), ou uma placa gráfica AMD Radeon RX série 7000.

O primeiro passo é instalar o LM Studio para Windows, e para acelerar a IA usando uma placa de vídeo, você precisará de uma versão com suporte ROCm. Em seguida, você precisa inserir TheBloke/OpenHermes-2.5-Mistral-7B-GGUF na barra de pesquisa para iniciar um bot baseado em Mistral 7b ou TheBloke/Llama-2-7B-Chat-GGUF para usar LLAMA v2 7b, dependendo do modelo de interesse. Então você precisa encontrar no painel direito e baixar o arquivo do modelo Q4 K M. Finalmente, você pode ir para a aba de chat e começar a se comunicar com a IA.

Para acelerar a IA usando uma placa de vídeo da série Radeon RX 7000, você precisa seguir mais algumas etapas: definir o valor máximo de descarregamento de GPU nas configurações e certificar-se de que AMD ROCm seja exibido no bloco Detected GPU Type.

Assim, ao contrário da NVIDIA, a AMD ainda não está pronta para apresentar a sua própria aplicação para comunicação com um chatbot, mas isso não significa que isso não acontecerá no futuro.

avalanche

Postagens recentes

O aplicativo NVIDIA para controlar gráficos expandiu as configurações de exibição

A Nvidia lançou uma versão nova (11.0.2.308) de seu aplicativo universal para gerenciar gráficos. A…

4 horas atrás

O consumo de alto custo e alto energia da Nvidia e traço dos detectores da NVIDIA abriram novos horizontes para Marvell e Broadcom

O crescimento explosivo da popularidade do ChatGPT e outras soluções baseadas em IA generativa causou…

4 horas atrás

“Não precisamos de moinhos de vento”: os Estados Unidos suspenderam o desenvolvimento de energia eólica e solar em terras e reservatórios federais

A administração presidencial dos EUA, Donald Trump, congelou a aprovação de projetos de energia eólica…

4 horas atrás

Ai-Bubble Burst: O custo da Nvidia entrou em colapso em US $ 600 bilhões por dia devido à startup chinesa Deepseek

Segunda-feira, 27 de janeiro de 2025, entrará na história como um dos piores dias para…

5 horas atrás

S.T.A.L.K.E.R. 2: Coração de Chornobyl recebeu o primeiro patch em 2025 – elimina os “problemas mais críticos”

Conforme prometido, o primeiro patch em 2025 para o tiroteio pós -apocalíptico S.T.A.L.K.E.R. 2: Coração…

5 horas atrás