Veja por que abandonei o ChatGPT e mudei para IA local

Fui uma das primeiras pessoas a aderir ao movimento ChatGPT. A conveniência de ter um assistente de pesquisa onisciente disponível ao toque de um botão tem seu apelo e, por muito tempo, não me importei muito com as ramificações do uso de IA. Avançando até hoje, é um mundo totalmente diferente. Não há como negar o fato de que você está alimentando uma imensa quantidade de informações profundamente pessoais, desde anotações de diário até e-mails de trabalho confidenciais, em uma caixa preta pertencente a empresas de trilhões de dólares. O que poderia dar errado?

Agora, não há como voltar atrás em relação à IA, mas há casos de uso onde ela pode funcionar como um multiplicador de produtividade. E é por isso que estou mergulhando na toca do coelho pesquisando IA local. Se você não está familiarizado com o conceito, na verdade é bastante simples. É perfeitamente possível executar um grande modelo de linguagem, o cérebro por trás de uma ferramenta como o ChatGPT, diretamente do seu computador ou até mesmo de um telefone. É claro que não será tão capaz ou onisciente quanto o ChatGPT, mas dependendo do seu caso de uso, ainda poderá ser eficaz o suficiente. Melhor ainda, nenhum dado sai do seu dispositivo, nem há uma taxa de assinatura mensal a ser considerada. Mas se você está preocupado com o fato de que isso exige um diploma de engenharia, pense novamente. Em 2025, executar um LLM local é surpreendentemente fácil, com ferramentas como LM Studio e Ollama tornando tudo tão simples quanto instalar um aplicativo. Depois de passar os últimos meses executando minha própria IA local, posso dizer com segurança que nunca mais voltarei a ser puramente dependente da nuvem. Aqui está o porquê.

Todos nós colamos algo no ChatGPT que provavelmente não deveríamos. Talvez tenha sido um trecho de código em funcionamento que você estava tentando entender. Ou talvez uma cópia de um contrato, talvez alguma informação embargada, ou mesmo apenas uma anotação de diário realmente pessoal que você não se sente confortável em expor aos nossos senhores corporativos. Cada vez que você clica em enviar em uma IA baseada em nuvem, esses dados são processados ​​em um servidor totalmente opaco que inevitavelmente usará seus dados para o bem maior da IA.

Aqui está o acordo. Paralelamente aos meus esforços jornalísticos, administro uma empresa onde sou regularmente exposto a informações protegidas por NDA. Além do óbvio risco de privacidade, seria ilegal para mim compartilhar essas informações com uma ferramenta pública de IA. No entanto, executar um LLM local inverte totalmente o script. Eu tentei muitas ferramentas, mas atualmente estou testando o AnythingLLM. É uma ferramenta de desktop fantasticamente simples que permite conversar com seus documentos inteiramente em seu próprio computador. Isso me permite fazer coisas como fornecer extratos fiscais, faturas, extratos bancários e até documentos protegidos por NDA, e pedir para resumir coisas como despesas ou sinalizar cláusulas que devo ficar atento. Como todo o LLM está sendo executado no meu computador, sei que esses dados não estão sendo transmitidos para servidores offshore para processamento, e isso me permite ter análises mais rápidas orientadas por IA para dados que estritamente não devem ser compartilhados. Efetivamente, é como executar a versão empresarial do ChatGPT ou Copilot, mas no seu computador com pouco ou nenhum custo associado.

Eu escrevo para viver e, como atestam meus editores-chefes, uma verificação gramatical é um mal necessário para o trabalho. Mas ferramentas como Grammarly são, por definição, keyloggers. Para fazer qualquer coisa, eles precisam ler e processar tudo o que você escreve. Isso pode ser adequado para um e-mail rápido, mas não me sinto confortável em usá-lo ao trabalhar com informações privilegiadas. Além disso, para obter a utilidade adequada dessas ferramentas, você precisa se inscrever para uma assinatura. Os contras definitivamente superam os prós.

Portanto, minha solução foi usar um dos muitos LLMs off-line para funcionar como um corretor ortográfico de alta potência para mim. Por exemplo, você pode instalar o LM Studio executando um modelo como Llama 3 ou Mistral e fornecer um comando altamente detalhado informando para corrigir a gramática e a ortografia sem alterar o tom ou o fraseado. Isso é tudo que é preciso. Posso colar artigos inteiros no LLM local e obter feedback instantâneo e correções em minha redação. Você pode até treiná-lo em guias de estilo específicos, como, digamos, uma preferência a favor ou contra vírgulas Oxford, e o LLM local seguirá essas regras. Efetivamente, você pode confiar em um LLM local para funcionar como um segundo par de olhos, sem qualquer medo de vazamento de informações para a web em geral.

Muito se tem falado sobre o código espaguete gerado pelos LLMs. No entanto, é difícil negar que pode ser útil para gerar código padrão para lhe dar uma vantagem inicial. Olha, sou um engenheiro bastante enferrujado, formado há quinze anos na universidade, e ainda gosta de mexer em código de vez em quando no fim de semana. Para alguém como eu, a IA tem sido incrível em entender trechos de código de aplicativos de código aberto. Acontece que eu realmente não preciso do Copilot ou do Claude para isso. Para coisas básicas, posso literalmente despejar um fragmento de código no Ollama e pedir à IA que me explique a lógica. Quando se trata de escrever código, comecei a usar extensões para VS Code que podem conectar o Ollama diretamente ao editor de código.

Basta baixar um modelo específico de codificação, como, digamos, DeepSeek Coder localmente. O LLM oferece sugestões para preenchimento automático de código, refatoração e explicações para bugs quando as coisas inevitavelmente falham na compilação. E faz tudo isso dentro do próprio IDE, sem precisar ligar para casa. É a experiência do GitHub Copilot, mas rodando inteiramente no meu computador. Para os desenvolvedores, isso significa que eles podem estar trabalhando em projetos privados ou em código de cliente com absoluta certeza de que não estão vazando propriedade intelectual para um LLM voltado ao público. Além disso, você poderá notar uma experiência de usuário aprimorada ao trabalhar com um LLM focado no desenvolvedor em vez de um modelo de uso geral.

É aqui que as coisas ficam interessantes. Os modelos de IA voltados para o público são construídos tendo em mente as proteções. Qualquer coisa considerada muito extrema ou potencialmente perigosa é efetivamente bloqueada para acesso. Isso pode ser problemático se você for uma pessoa naturalmente curiosa ou se quiser fazer alguma pesquisa que vá um passo além do que o ChatGPT pode oferecer. No meu caso, um dos meus hobbies de fim de semana é escrever contos de suspense, e quando quero fazer alguma pesquisa para um thriller ou arco de terror, o ChatGPT simplesmente não vai tão longe.

No entanto, se você estiver executando um LLM local, poderá baixar um modelo desbloqueado projetado para seguir as instruções sem moralizar. Isso pode desbloquear a liberdade criativa, permitindo que você desenvolva personagens com qualquer tipo de personalidade que você deseja. A mesma liberdade também pode ser útil se você se interessa por jogos de tabuleiro e deseja gerar uma nova campanha horrível de DnD.

Viajo muito e prefiro que a maioria dos meus serviços mais usados ​​esteja disponível off-line. Previsivelmente, a dependência da IA ​​na nuvem pode se tornar um grande problema no momento em que você entra em um avião ou visita um local remoto com Internet irregular. Mesmo se você tiver WiFi em um avião, a latência muitas vezes pode levar a quedas de conexão no meio da consulta. Não é uma experiência de usuário muito boa.

Minha configuração local de IA, por outro lado, viaja comigo. Tenho o Ollama configurado no meu laptop e posso ligá-lo sempre que precisar. Por mais geek que possa parecer, tem sido uma revelação para a produtividade, já que posso obter praticamente todas as coisas que uso o ChatGPT para executar no meu computador a 36.000 pés de altura. Se quiser dar um passo adiante, você pode até usar um aplicativo como o SmolChat para executar um modelo de linguagem menor em seu telefone Android e usá-lo para tarefas mais simples. Há muita flexibilidade aqui.

Em uma era em que tudo, desde o consumo de mídia até a leitura de notícias, está se tornando uma assinatura, não deveria ser surpresa que obter uma experiência decente de IA também esteja, você adivinhou, garantido por uma assinatura. Entendo que construir e executar um modelo de IA é extremamente caro. No entanto, nenhum GPT é bom em todas as tarefas, e se eu começar a aumentar os números, aquela taxa de US $ 20 por mês para cada LLM em que me inscrevo começa a parecer muito cara muito rapidamente.

A IA local é a alternativa de compra para toda a vida. O único custo real é o hardware em que você o executa. Se você estiver em um PC, você vai querer uma placa gráfica robusta. Do lado da Apple, até mesmo um MacBook Air é capaz de executar modelos de tamanho razoável com um ritmo decente. Os próprios modelos de código aberto são gratuitos. Na verdade, se você possui um computador recente, provavelmente já possui todo o hardware necessário para colocar sua própria instância local de IA em funcionamento. Além disso, enquanto você espera que o OpenAI lance sua atualização anual para ChatGPT, você pode testar novos modelos e variações praticamente semanalmente via Hugging Face.

Embora o seu computador obviamente não vá competir com os data centers extremamente sobrecarregados que executam o ChatGPT, dependendo de como você usa esses LLMs, você poderá observar que a lacuna é menor do que você imagina. Executando localmente em hardware razoavelmente potente, coisas como geração e resumo de texto podem muitas vezes acontecer tão rapidamente quanto uma ferramenta comercial e, às vezes, até mais rápido. Além disso, você não precisa enfrentar o problema de latência ou carga do servidor. Se você usa o ChatGPT com alguma frequência, inevitavelmente se depara com uma roda de processamento ou, às vezes, até com o temido tempo limite de conexão. Nada disso acontece quando seu modelo de IA é executado em seu computador.

Está executando um modelo de IA local para todos?

Olha, não vou adoçar isso. A IA local não é perfeita nem é para todos. Se você estiver usando Claude para resolver problemas matemáticos complexos ou quiser recursos de raciocínio de última geração disponíveis, um modelo de nuvem massivo como ChatGPT 5.1 ou Claude será sua melhor aposta. Eles simplesmente têm uma base de parâmetros muito maior para trabalhar do que aquela que cabe no seu computador. Nem o seu computador é poderoso o suficiente para executá-los. Mas você não precisa necessariamente desse poder no dia a dia. Se minha experiência servir de referência, 90% das minhas tarefas diárias de IA, como resumo, edição, explicação de código e brainstorming, funcionam perfeitamente bem com modelos locais.

É uma atividade nerd? Sim. É divertido se envolver? Também sim. É um pouco como os primeiros dias do oeste selvagem da Internet, exceto que inteiramente sob seu controle.