Embora o Google tenha sido um dos primeiros a adotar a IA generativa, ele agora se vê surpreso pelo crescimento explosivo de rivais como ChatGPT e Bing Chat. Então, em resposta, o Google lançou seu chatbot Bard AI para recepção mista. Mais recentemente, a empresa também começou a experimentar a exibição de respostas de IA ao lado dos resultados de pesquisa. Mas o que é ainda mais impressionante é que o Google desenvolveu os modelos de aprendizado de máquina internamente. Você pode ter ouvido falar do Google LaMDA já em 2020, mas a empresa agora mudou para o PaLM 2 mais avançado para seus produtos de IA.
Portanto, neste artigo, vamos dar uma olhada mais de perto no PaLM 2 e como ele difere dos modelos anteriores do Google. Posteriormente, também veremos como ele se compara ao GPT-4, que é considerado o melhor modelo de linguagem grande disponível atualmente.
O que é o PaLM 2 e como ele funciona?
Edgar Cervantes / Autoridade Android
PaLM significa Pathways Language Model, que sinaliza o uso da arquitetura Pathways AI do Google, que ajuda a treinar modelos de aprendizado de máquina para executar uma variedade de tarefas. É uma grande parte da visão do Google alcançar a inteligência artificial geral ou AGI.
O Google acredita que a arquitetura Pathways abrirá caminho para a IA multimodal além do texto. Em uma postagem no blog, a empresa disse:
Os caminhos podem permitir modelos multimodais que abrangem visão, audição e compreensão da linguagem simultaneamente. Então, se o modelo está processando a palavra “leopardo”, o som de alguém dizendo “leopardo” ou um vídeo de um leopardo correndo, a mesma resposta é ativada internamente: o conceito de um leopardo. O resultado é um modelo mais perspicaz e menos propenso a erros e vieses.
Embora o Google tenha falado pela primeira vez sobre o PaLM em 2022, a empresa nunca lançou um produto que o utilizasse. No entanto, com a crescente pressão da concorrência, o Google agora atualizou seu chatbot Bard para usar o PaLM 2. Ao contrário do modelo LaMDA que substitui, o PaLM 2 foi treinado em mais de 100 idiomas e possui um conhecimento ainda melhor relacionado ao domínio em áreas como codificação. Ele também tem um raciocínio lógico e capacidades matemáticas muito melhores.
Do ponto de vista técnico, o modelo de aprendizado de máquina LaMDA de primeira geração do Google ostentava 137 bilhões de parâmetros e um tamanho de treinamento de 1,56 trilhão de palavras. Desta vez, o Google diz que o PaLM 2 usa uma nova técnica conhecida como dimensionamento otimizado de computação para produzir melhores resultados com menos parâmetros e um conjunto de dados de treinamento menor.
O Google ainda não se comprometeu a trazer habilidades multimodais para seus produtos de IA como o Bard. No entanto, seu futuro modelo de linguagem Gemini provavelmente trará suporte para imagens, áudio e muito mais.
PaLM 2 vs. PaLM e LaMDA: Como o LLM mais recente do Google se compara aos predecessores?
Os recursos do PaLM 2 deram ao Google Bard um grande impulso em termos de recursos. Quando foi lançado no início de 2023, o chatbot usava o modelo de linguagem LaMDA sob o capô. E com a mudança para o PaLM 2 agora, o Google ultrapassou o modelo PaLM de primeira geração.
O Google publicou um relatório técnico de 92 páginas detalhando como o PaLM 2 melhora seus predecessores, mas vamos direto ao ponto. Aqui está um rápido resumo das melhorias em relação aos modelos anteriores da empresa:
- O PaLM 2 foi treinado em uma mistura de idiomas e seus dados de treinamento incluíam muitas amostras de texto não inglesas. Ele também tem um desempenho melhor em testes de língua estrangeira do que o LaMDA e o PaLM de primeira geração.
- Ele possui melhores recursos de raciocínio lógico do que seus antecessores e até consegue igualar o GPT-4 nos testes realizados pelo Google.
- O chatbot Bard do Google agora pode gerar e depurar código. Isso não era possível com os modelos de idiomas anteriores da empresa.
- O PaLM 2 pode traduzir entre idiomas melhor do que os modelos de idiomas anteriores. Na verdade, ele também pode superar o Google Tradutor em certos idiomas, como português e chinês.
- Com a nova arquitetura Pathways, o PaLM 2 é mais eficiente para treinar e usar. Isso torna mais econômico e viável incluir em serviços do Google como o Gmail.
- O Google pode ajustar o modelo PaLM 2 para casos de uso específicos. Por exemplo, o Sec-PaLM é otimizado para detectar vulnerabilidades de segurança cibernética, enquanto o Med-PaLM fornece respostas para consultas médicas.
Como o PaLM 2 se compara aos LLMs GPT da OpenAI?
O OpenAI, criador do ChatGPT, até agora conseguiu superar outros modelos de linguagem em termos de recursos. Mas com o lançamento do PaLM 2, o Google pode levar a coroa? De acordo com o relatório técnico da empresa, ele pontua melhor em testes de bom senso. No entanto, os benchmarks sintéticos não se traduzem necessariamente em desempenho no mundo real.
Então, para descobrir qual deles sai à frente, perguntei ao Google Bard e ao Bing Chat alguns enigmas. A Microsoft usa o GPT-4 da OpenAI como base para o Bing Chat e eu usei um pouco de engenharia de prompt criativo para evitar que ele procure uma resposta na Internet. Aqui está o resultado do primeiro enigma que fiz.
Como você pode ver nas capturas de tela acima, tanto o Google Bard quanto o GPT-4 conseguiram resolver o enigma corretamente. Na verdade, o PaLM 2 também me deu uma solução alternativa que o Bing Chat não oferecia.
No entanto, o chatbot Bard do Google se recusou a resolver outro enigma que lancei. O Bing Chat, por sua vez, deu um raciocínio detalhado e a solução correta quando perguntado o mesmo enigma.
Embora esses dois exemplos não testem todos os recursos do PaLM 2, eles provam que o Google começou a alcançar a concorrência, mas ainda tem muito trabalho pela frente.
Como o Google usará o PaLM 2?
Na conferência de desenvolvedores de I/O do Google, vimos os planos da empresa para o futuro do PaLM 2 e seus desenvolvimentos de IA em geral. O modelo de idioma mais recente fornecerá tudo, desde um novo recurso “Ajude-me a escrever” no Google Docs e Gmail até a geração de imagens AI no Slides. Em geral, esses recursos se enquadram no guarda-chuva Duet AI for Workspace do Google e devemos vê-los sendo lançados nos próximos meses.
O Google também desenvolveu uma versão do PaLM 2 para caber em smartphones. Com o codinome Gecko, esse modelo de linguagem condensada poderá algum dia possibilitar o uso de IA generativa completamente offline em um smartphone Android típico.
Por fim, os desenvolvedores de software agora podem acessar o PaLM 2 programaticamente por meio de APIs. Isso significa que podemos ver outras empresas confiarem no grande modelo de linguagem do Google, assim como vimos o Duolingo e a Khan Academy adotarem o GPT-4 para seus respectivos recursos baseados em IA.
perguntas frequentes
O Google PaLM 2 é o modelo de linguagem grande que alimenta o Bard, o chatbot de IA da empresa e outros recursos como Help me Write in Gmail.
O Google ainda não lançou o Med-PaLM 2. A empresa primeiro concederá acesso a um pequeno grupo de testadores confiáveis. Não está claro se ele se tornará publicamente disponível.