Por que o ChatGPT é tão lento? 5 maneiras de agilizar as respostas do chatbot

ChatGPT se tornou uma ferramenta criativa indispensável para muitos de nós. Por mais moderno que seja, no entanto, o ChatGPT ainda sofre lentidão ocasional que pode fazer com que você espere segundos ou até mais de um minuto entre as respostas. Mudar para o modelo ChatGPT-4 pago também não irá necessariamente acelerar as coisas. Tudo isso levanta duas questões importantes: por que o ChatGPT é tão lento e o que podemos fazer para melhorá-lo?

ChatGPT é um exemplo de IA generativa, ou inteligência artificial que pode gerar novos conteúdos. É um processo que requer quantidades significativas de poder computacional. Cada vez que você envia uma mensagem ao chatbot, ele precisa decodificá-la e gerar uma nova resposta. Internamente, o modelo de linguagem subjacente do ChatGPT processa texto como tokens em vez de palavras. Você pode pensar em um token ChatGPT como a unidade mais fundamental da mensagem do chatbot.

Modelos de linguagem como o que alimenta o ChatGPT foram treinados em centenas de gigabytes de texto, o que significa que aprenderam os padrões da linguagem humana e do diálogo. Dados grandes volumes de texto, ele também pode aprender o contexto e como as palavras e frases se relacionam entre si. Usando esse treinamento, podemos então pedir ao modelo para gerar um texto totalmente novo, que ele nunca viu antes.

Portanto, cada vez que você pergunta algo ao ChatGPT, o modelo subjacente depende de seu treinamento para prever a próxima palavra ou token em sua resposta. O modelo pode sequenciar esses cálculos de probabilidade para formar frases e parágrafos inteiros de texto.

Cada previsão de token requer uma certa quantidade de poder computacional, assim como nosso cérebro às vezes pode fazer uma pausa para tomar decisões. A única diferença é que os modelos de IA executados em servidores poderosos normalmente podem prever centenas de tokens a cada segundo.

Quanto ao que torna o ChatGPT tão lento, é simplesmente uma questão de demanda excessiva pela quantidade limitada de poder computacional disponível. O modelo de linguagem escolhido também tem impacto – modelos mais avançados geralmente são mais lentos. Embora a OpenAI não tenha divulgado números exatos, é seguro assumir que o GPT-4 Turbo não responderá tão rapidamente quanto o modelo GPT-3.5 padrão.

Como melhorar a velocidade de resposta do ChatGPT

Com a explicação de como as respostas do ChatGPT funcionam, você deve estar se perguntando se existe uma maneira de acelerar suas respostas. Felizmente, existem algumas coisas que você pode tentar para melhorar a situação.

1. Experimente um navegador, conexão e dispositivo diferente

Antes de atribuir a culpa diretamente ao ChatGPT, devemos tentar descartar quaisquer razões potenciais para a desaceleração de nossa parte. Um navegador ou conexão de Internet mal configurado pode facilmente ser a razão por trás das respostas lentas do ChatGPT, então vale a pena começar por aí.

Antes de continuar, recomendamos limpar os cookies salvos e os arquivos de cache do seu navegador. Para fazer isso, acesse a página de configurações do seu navegador e procure um botão para redefinir ou limpar dados de navegação. No Chrome, por exemplo, está em Configurações > Reiniciar > Restaurar as configurações para seus padrões originais > Redefinir as configurações. Após redefinir seu navegador, você terá que fazer login em sua conta ChatGPT novamente.

OpenAI mantém uma página de status oficial que pode informar se o ChatGPT não está funcionando ou apresentando lentidão no momento. É a maneira mais rápida de saber se o serviço foi afetado por uma interrupção grave ou se tem dificuldade em acompanhar o aumento da demanda dos usuários.

Se a página de status indicar um problema com o ChatGPT, infelizmente não há nada que você possa fazer para corrigi-lo. A maioria dos problemas é resolvida em poucas horas, portanto, talvez você não precise esperar muito.

3. Verifique se há uma conexão VPN ativa

Embora uma VPN por si só não se traduza necessariamente em respostas ChatGPT mais lentas, as corporativas ou públicas podem afetar o chatbot de maneiras sutis. As VPNs corporativas, em particular, podem bloquear ou interferir na conexão aos servidores do ChatGPT.

Da mesma forma, se você usar um serviço VPN popular e se conectar a um servidor ocupado, os servidores do ChatGPT poderão detectar uma enxurrada de solicitações de um único endereço IP. Isso pode desencadear medidas anti-spam ou limitação de taxa, o que limita a velocidade com que você pode enviar e receber mensagens.

A melhor ação seria tentar usar o chatbot sem uma conexão VPN, se você tiver uma habilitada. Já sabemos que o ChatGPT salva seus dados no nível da conta, portanto, não há nenhum benefício de privacidade em usar uma VPN aqui.

Se nenhuma das soluções anteriores funcionou para você, pode ser porque você tende a usar o ChatGPT quando ele está mais ocupado. E se você usar o chatbot gratuitamente, você estará em uma posição inferior na lista de prioridades em comparação com um cliente pagante. Se a velocidade de resposta realmente importa para você, uma assinatura do ChatGPT Plus pode ser seu último recurso, embora você deva considerar ler a próxima seção primeiro.

Uma assinatura do ChatGPT Plus custará US$ 20 mensais, mas oferece respostas mais rápidas. Você também obtém acesso prioritário ao chatbot durante períodos de grande demanda, o que deve ajudar em qualquer lentidão que possa enfrentar.

Embora o ChatGPT já tenha sido a única ferramenta de linguagem de IA no mercado, esse não é mais o caso. Veja o Microsoft Copilot, por exemplo. Embora dependa da mesma família de modelos de linguagem GPT, pode ter uma vantagem de velocidade dependendo da carga do servidor ChatGPT. Mas, na minha experiência, o Gemini do Google normalmente oferece respostas mais rápidas do que qualquer chatbot baseado em GPT.

Da mesma forma, várias outras ferramentas generativas baseadas em IA, como o Perplexity, oferecem respostas mais rápidas do que o ChatGPT. Provavelmente, isso ocorre porque os chatbots convencionais precisam lembrar as mensagens anteriores para contextualizar, o que pode aumentar a complexidade das previsões de tokens. Modelos de linguagem menores também fornecerão respostas mais rápidas, mas à custa da qualidade da resposta.