Ontem, o Google revelou seu principal modelo de linguagem de inteligência artificial (IA), Gemini. A rede neural é destinada a uma série de produtos e serviços, incluindo o AI chatbot Bard, concorrente do ChatGPT. No entanto, a maioria dos usuários que conseguiram testar o Bard atualizado em uma nova rede neural ficaram insatisfeitos com os resultados.
Fonte da imagem: Google
Em seus blogs e materiais de imprensa, o Google apregoa a arquitetura e os recursos superiores do Gemini, alegando que o modelo corresponde ou até supera outros modelos líderes de IA generativa, como o GPT-4 da OpenAI. Porém, a primeira experiência de interação de alguns usuários indica o contrário.
Então, ontem Bard recebeu um upgrade na forma de uma versão “light” do modelo chamada Gemini Pro. Os usuários imediatamente começaram a expressar sua insatisfação com a atualização nas páginas da rede social X (antigo Twitter). Por exemplo, o chatbot não conseguiu fornecer corretamente fatos simples, como os vencedores do Oscar de 2023. Gemini Pro afirma incorretamente que o Melhor Ator do ano passado foi Brendan Gleeson, quando na verdade o vencedor foi Brendan Fraser. Quando os usuários tentam fazer a mesma pergunta, eles podem acabar com uma resposta diferente e incorreta.
Fonte da imagem: Google
A situação é semelhante com as questões relativas aos melhores filmes: “All Quiet on the Western Front” tornou-se o melhor filme internacional segundo o modelo, “Women Speak” tornou-se o melhor roteiro adaptado e “Pinóquio” tornou-se o melhor filme de animação. O modelo produziu respostas incorretas em todos esses exemplos.
Além disso, Bard, baseado em Gemini, exibiu um desempenho de tradução ruim. Por exemplo, quando os usuários tentam pedir ao modelo uma palavra de 6 letras em francês, Gemini fornece uma versão de 7 letras.
Fonte da imagem: Google
Que tal resumir as notícias? O Gemini Pro, com o Google Search e o Google News à sua disposição, pode obviamente fornecer uma visão geral rápida das notícias. Não importa como seja. Gemini Pro parece relutante em comentar sobre tópicos de notícias potencialmente controversos, em vez disso, pede aos usuários que… pesquisem no Google. O concorrente da OpenAI, ChatGPT, por outro lado, lida facilmente com essa tarefa, fornecendo um resumo com links para artigos de notícias. Embora esse recurso esteja disponível apenas para assinantes pagos, a versão gratuita do ChatGPT não está conectada à Internet.
Fonte da imagem: OpenAI
Como todos os modelos de IA generativa, o Gemini Pro não está imune a “sequestros”, ou seja, consultas que contornam os filtros de segurança que tentam impedir a discussão de tópicos controversos. Usando um método automatizado para alterar algoritmicamente o contexto das dicas até que os filtros de segurança do Gemini Pro parassem de funcionar, os pesquisadores de segurança de IA da Robust Intelligence, uma startup que vende ferramentas de auditoria de modelos, conseguiram fazer com que o Gemini Pro sugerisse maneiras de cometer atos imorais, como roubar de uma instituição de caridade.
Deve-se notar que o Gemini Pro não é atualmente a versão mais capaz do Gemini. Uma versão mais avançada, Gemini Ultra, deve chegar ao mercado no próximo ano no chatbot AI da Bard e em outros produtos. É por isso que o Google agora está comparando o Gemini Pro ao modelo de seu concorrente, o GPT-3.5, que tem cerca de um ano, em vez da versão mais recente do GPT-4.
No entanto, o Google prometeu que o Gemini Pro melhorará o raciocínio, o planejamento e a compreensão em relação ao modelo anterior usado no Bard, e disse que o Gemini Pro é melhor para resumir conteúdo, fazer brainstorming e escrever. Até agora isso não é visível.