Edgar Cervantes / Autoridade Android
O Google recentemente deu ao seu chatbot Bard uma grande reforma na forma de uma atualização para o novo modelo de linguagem grande Gemini Pro. Segundo o Google, o Gemini representa um avanço significativo, e a variante atual do Gemini Pro é consideravelmente mais avançada que o GPT-3.5. Depois de passar as últimas semanas usando regularmente ChatGPT e Bard lado a lado para as mesmas solicitações, obtive uma imagem bastante clara de como os dois LLMs diferem.
Enquanto ainda estou trabalhando em minha comparação completa entre Bard e ChatGPT, há algumas áreas em que Bard brilha mais. Acontece que o planejamento de viagens é uma dessas coisas.
Minha viagem fictícia a Portland, Oregon
Então, pedi a cada LLM que me ajudasse a planejar uma viagem para Portland, Oregon, em julho. A realidade é que nem todos entendem a importância da clareza e da especificidade quando se trata de usar esses modelos, então decidi replicar isso com detalhes vagos. No início, tudo que eu disse foi que queria ir para Portland, Oregon e arredores em julho.
Depois que cada modelo me deu sugestões, comecei a “perceber” que precisava dar mais contexto, como o fato de que tenho três filhos e eles também gostariam de fazer algumas atividades divertidas. A partir daí, fiz perguntas complementares, como quais festivais estavam acontecendo. À medida que me contava mais, pedi a cada modelo que incorporasse essas novas atividades no cronograma.
Tenha em mente que, embora eu tentasse fazer as mesmas perguntas, muitas vezes cada LLM reagia de uma forma que exigia que eu fornecesse acompanhamento. Embora eu tenha usado o mesmo processo geral, houve algumas diferenças em alguns dos prompts.
Quantas perguntas foram necessárias para chegar a uma resposta que satisfizesse o que eu procurava e fosse personalizada para minha família? Sdezenove para ChatGPT e onze para Bard. Bard não era apenas mais rápido; Gostei um pouco mais dos resultados.
Claro, Bard não era perfeito. Vamos começar com o fator negativo: metade das respostas continuava caindo. Pedi para ele fazer a viagem em oito dias, e na primeira tentativa só preencheu 6 dias completos, e na 7ª mal começou. Depois de pedir para adicionar novos pontos de acesso à agenda, eu pedia uma nova versão e a cada vez Bard cortava. Imagino que deva haver um limite de caracteres contra o qual estou atingindo. A boa notícia é que você pode simplesmente pedir para preencher o restante em uma resposta de acompanhamento, então não é grande coisa.
Quanto ao que eu gosto nisso? Houve algumas coisas.
Bard vs ChatGPT para conselhos de viagem: Bard faz o melhor trabalho
Além da rapidez em responder à minha pergunta, Bard teve muitos pontos positivos a seu favor:
- Achei que ele integrou melhor minhas sugestões e proporcionou uma experiência com curadoria mais humana do que o ChatGPT poderia fornecer sem aviso adicional.
- Bard “lembra” de forma mais consistente o que você perguntou antes, enquanto o ChatGPT muitas vezes precisava que eu lesse coisas que pedi nas etapas anteriores.
- A inclusão de miniaturas de Bard é um toque legal, pois ajuda você a ter uma ideia melhor do que está falando.
Para ilustrar melhor como cada um lida com a integração de minhas sugestões, disse a ambos os chatbots que meus filhos tinham 7, 10 e 14 anos e que queria incluir atividades que funcionassem para todas as idades.
Por sua vez, o ChatGPT incluía atividades familiares, mas achei que Bard fez um trabalho muito melhor ao distribuir a carga ao longo da semana. As coisas pareciam confortáveis, mas nunca muito lotadas. Mas o que realmente me surpreendeu é que Bard não considerou apenas meus filhos; até mencionou especificamente atividades que cada idade poderia gostar. Você pode ver o que quero dizer na imagem diretamente abaixo.
Andrew Grush / Autoridade Android
Vamos pular para a experiência que tive com ChatGPT e Bard, respectivamente, para ilustrar melhor o quão diferente os LLMs lidam com a atividade. Observação: Não vou percorrer todas as etapas, mas darei a você a essência básica.
Usando ChatGPT para fazer meu roteiro de viagem
Vamos acompanhar o processo com ChatGPT. Para a primeira pergunta, pedi para “me ajudar a planejar uma viagem em julho para a área de Portland Oregon. Quero me concentrar tanto nas coisas para fazer na cidade quanto nos arredores.” Ele respondeu com uma lista dividida em manhã, almoço, tarde, jantar e noite. Havia descrições básicas incluídas e um estilo mais parecido com um guia. O único problema? Fez apenas 3 dias de atividades, apesar de afirmar que foi uma viagem de sete dias.
Andrew Grush / Autoridade Android
Eu pedi para corrigir o problema. Então perguntei sobre atividades infantis, com a mesma sugestão que usaria com Bard. Ele me deu sugestões e então pedi que incluísse o Museu das Crianças e o Zoológico de Oregon na programação.
O resultado teve uma boa mistura de atividades, mas extremamente sobrecarregada. Pedi para relaxar e distribuir as coisas por oito dias.
Andrew Grush / Autoridade Android
Nessa época, decidi pensar em festivais. “Há algum festival acontecendo em julho que valeria a pena ir?” Isso me deu algumas opções e decidi fazer a viagem de 1º a 8 de julho. Pedi para adicionar tudo isso ao cronograma e ele me deu um novo cronograma, mas desta vez deixou totalmente de fora as descrições.
“Você pode me dar mais informações sobre os locais da agenda?” Perguntei. Ele respondeu com uma lista de informações e tive que informá-lo para integrar isso à minha agenda. A partir daí, pedi para tornar a experiência mais pessoal para ver se poderia proporcionar o mesmo estilo e nível que experimentei com Bard.
Andrew Grush / Autoridade Android
Isso me deu uma alternativa bem próxima. Infelizmente, também me fez ir ao zoológico e ao museu no mesmo dia. Antes que eu pudesse consertar, notei outro erro. Apesar de eu ter contado que faria a viagem na semana de 4 de julho, ela não incorporou nenhuma atividade local!
Pedi para resolver isso e ele me deu um novo formulário, mas tinha o dia 4 (4 de julho) e o Dia da Independência como duas inscrições com atividades diferentes. De jeito nenhum irei para alguma cachoeira fora de Portland e voltarei para as festividades no mesmo dia! Então eu consertei isso a seguir. Isso me cuspiu uma nova programação, mas removeu as descrições e voltou ao formato vago.
Andrew Grush / Autoridade Android
Lembrei que queria isso com descrições personalizadas e, por fim, me deu outra versão. Então lembrei que precisava consertar o erro do dia do zoológico e do museu. Eu mencionei o assunto e disse que “consertou”, mas não mudou literalmente nada. Mencionei isso mais uma vez e ele pediu desculpas. Desta vez, retirou completamente o zoológico da programação.
Pedi para adicioná-lo novamente e garantir que fosse em um dia diferente do museu. Novamente me deu o mesmo resultado com o zoológico ainda desaparecido. Pedi uma última vez para adicionar o zoológico como mais um dia. Sucesso!
Andrew Grush / Autoridade Android
Como você pode ver, consegui que o ChatGPT fizesse o que eu queria, mas foi necessário mais trabalho para chegar lá.
Usando o Bard para fazer meu roteiro de viagem
Minha experiência com o Bard começou da mesma forma que com o ChatGPT. “Ajude-me a planejar uma viagem em julho para a área de Portland Oregon. Quero me concentrar tanto nas coisas para fazer na cidade quanto nos arredores.” Ele respondeu imediatamente me dizendo que esta é uma ótima época do ano para visitar. O tempo está bom, há eventos de verão e assim por diante. Isso parecia muito mais caloroso e pessoal do que o que o ChatGPT produz por padrão.
Andrew Grush / Autoridade Android
Examinei a lista e vi que não havia atividades infantis. É verdade que não pedi isso, mas a realidade é que a maioria das conversas genuínas sobre IA começam assim: alguém faz uma pergunta vaga, recebe uma resposta restrita e depois pergunta algo mais detalhado. Eu queria ver como cada LLM lidou com esse processo. Então contei sobre meus filhos e suas idades. No início, só me deu atividades infantis na região, mas pedi para incorporar as coisas na programação.
Andrew Grush / Autoridade Android
Foi tão lindo. Depois de olhar a programação, percebi que estava um pouco lotada e pedi para adicionar mais atividades e intervalos repousantes. Ele executou bem essa tarefa, com uma exceção; cortou o dia 7. Isso provavelmente tinha a ver com o limite de caracteres da IA e foi fácil de consertar apenas pedindo o resto.
Finalmente consegui uma agenda sólida, mas percebi que deveria pensar em fazer isso por volta do dia 4 e incorporar eventos locais. Perguntei quais festivais aconteceriam em julho; falava sobre os eventos de 4 de julho no Oregon, entre outros. Eu então disse para fazer a programação ir de 1º a 8 de julho e adicionar as festividades do Dia da Independência.
Faltou preencher os últimos dois dias novamente. Pedi mais e isso me deu poucas atividades para escolher. Logo percebi que havia esgotado a maioria das opções que seriam adequadas para a família de crianças de todas as nossas idades. Isso me ajudou a economizar um dia, pois acabei encurtando a viagem para apenas 7 dias.
Andrew Grush / Autoridade Android
Além de ter que perguntar pelo último dia, Bard finalmente conseguiu o resultado que eu procurava. A partir daí, realizei uma verificação de fatos e algumas outras coisas. Se fossem férias de verdade, eu ainda precisaria fazer algum trabalho manual e planejamento, mas isso teria me poupado muito tempo.
Houve algo que o ChatGPT fez melhor?
Calvin Wankhede / Autoridade Android
Na verdade sim, ChatGPT tem a precisão a seu favor. Por não ter sido tão específico em suas sugestões, foi capaz de fornecer uma experiência que atendeu perfeitamente à minha verificação de fatos. Os lugares que ele disse para visitar existem e também estavam a uma distância razoável de Portland.
O Google Bard tende a inventar coisas com mais frequência em minhas interações, e seu planejamento de viagens também não ficou imune a isso. Ele me disse para visitar um dos dois lugares para tomar café: Proud Coffee ou Coffeehouse Northwest. Pelo que pude perceber, a primeira opção era para ser o Proud Mary Cafe, enquanto a outra está permanentemente fechada. Esse não foi o único caso. A certa altura, dizia Hawthorne Avenue, em vez de Boulevard ou District.
Embora isso não seja invenção, também reuniu dois eventos ao ar livre no mesmo dia. Eu não teria me importado com isso, mas eles estão separados por três horas e, ainda assim, devo voltar de lá para a cidade a tempo de dormir? A boa notícia é que eu sempre poderia ajustar manualmente esse cronograma com facilidade se este fosse um plano de férias real. Por exemplo, reduzi originalmente para sete dias, para poder facilmente adicionar aquele dia e transformar o dia em que deixo os limites da cidade em duas partes. Eu poderia alugar uma cabana ou algo assim entre os dois dias.
Qual deles você deve usar para planejar a viagem?
No geral, eu provavelmente usaria as duas ferramentas de IA em uma viagem real. Eles lidam com o processo de maneira diferente e produzem resultados diferentes, que eu poderia então combinar manualmente no cronograma perfeito. Acho que fazer as mesmas consultas por meio de ambas as ferramentas tem maior probabilidade de fornecer o melhor resultado.
É claro que a maioria de vocês não fará isso. Para quem quer apenas uma breve lista de sugestões e prefere uma interação mais manual, o ChatGPT dá conta disso bem e sem erros gritantes. Para aqueles que não se importam em verificar os fatos, mas querem um itinerário mais detalhado e com curadoria mais humana? Bard é ótimo, mas lembre-se de que você não deve necessariamente confiar nas sugestões que ele dá.
Claro, eu só fiz isso totalmente com umas férias no exemplo acima. Para tornar isso um pouco mais justo, fiz rapidamente algumas outras viagens simples. Em quase todos os casos, descobri que o ChatGPT exigia um pouco mais de interação manual para chegar onde eu queria e descobri que minhas impressões gerais ainda favoreciam Bard.
Por último, você pode estar pensando que eu poderia ter sido mais preciso ou claro com minhas instruções e obtido resultados muito melhores com o ChatGPT. Isso provavelmente é verdade, mas também é esse o ponto. A maioria dos usuários não pensa bem em seus prompts, então a vantagem vai para o LLM que entende melhor esses prompts de qualidade inferior. Em última análise, o Bard é mais fácil de usar para o usuário médio no planejamento de viagens, mesmo que você consiga obter praticamente os mesmos resultados com as instruções corretas.