Os desenvolvedores do Terminal-Bench, um conjunto de benchmark para avaliar o desempenho de agentes autônomos de IA em tarefas baseadas em terminais do mundo real, lançaram versão 2.0 ao lado Portouma nova estrutura para testar, melhorar e otimizar agentes de IA em ambientes conteinerizados.
O lançamento duplo visa abordar pontos problemáticos de longa data no teste e otimização de agentes de IA, especialmente aqueles construídos para operar de forma autônoma em ambientes de desenvolvedor realistas.
Com um conjunto de tarefas mais difícil e rigorosamente verificado, o Terminal-Bench 2.0 substitui a versão 1.0 como padrão para avaliar as capacidades do modelo de fronteira.
Harbor, a estrutura de tempo de execução que o acompanha, permite que desenvolvedores e pesquisadores dimensionem avaliações em milhares de contêineres de nuvem e se integrem com agentes de código aberto e proprietários e pipelines de treinamento.
“Harbour é o pacote que gostaríamos de ter ao fazer o Terminal-Bench," escreveu o co-criador Alex Shaw em X. "É para desenvolvedores e pesquisadores de agentes, modelos e benchmarks que desejam avaliar e melhorar agentes e modelos."
Barra mais alta, dados mais limpos
Terminal-Bench 1.0 teve rápida adoção após seu lançamento em maio de 2025tornando-se uma referência padrão para avaliar o desempenho do agente em todo o campo de agentes com tecnologia de IA que operam em ambientes de terminal estilo desenvolvedor. Esses agentes interagem com os sistemas por meio da linha de comando, imitando como os desenvolvedores trabalham nos bastidores da interface gráfica do usuário.
No entanto, seu amplo escopo apresentou inconsistências. Várias tarefas foram identificadas pela comunidade como mal especificadas ou instáveis devido a mudanças externas nos serviços.
A versão 2.0 aborda esses problemas diretamente. O conjunto atualizado inclui 89 tarefas, cada uma sujeita a várias horas de validação manual e assistida por LLM. A ênfase está em tornar as tarefas solucionáveis, realistas e claramente especificadas, aumentando o limite de dificuldade e melhorando a confiabilidade e a reprodutibilidade.
Um exemplo notável é o download-youtube tarefa, que foi removida ou refatorada na versão 2.0 devido à sua dependência de APIs instáveis de terceiros.
“Os fãs astutos do Terminal-Bench podem notar que o desempenho do SOTA é comparável ao TB1.0, apesar de afirmarmos que o TB2.0 é mais difícil”, Shaw observado em X. “Acreditamos que isso ocorre porque a qualidade da tarefa é substancialmente maior no novo benchmark.”
Harbor: implementações unificadas em escala
Juntamente com a atualização do benchmark, a equipe lançou Portouma nova estrutura para executar e avaliar agentes em contêineres implantados na nuvem.
Harbour suporta infraestrutura de implementação em larga escala, com compatibilidade para grandes fornecedores como Daytona e Modal.
Projetado para generalizar entre arquiteturas de agentes, o Harbour oferece suporte a:
-
Avaliação de qualquer agente instalável em contêiner
-
Pipelines escalonáveis de ajuste fino supervisionado (SFT) e aprendizado por reforço (RL)
-
Criação e implantação de benchmark personalizado
-
Integração total com Terminal-Bench 2.
O Harbour foi usado internamente para executar dezenas de milhares de implementações durante a criação do novo benchmark. Agora está disponível publicamente via harbourframework.comcom documentação para teste e envio de agentes à tabela de classificação pública.
Resultados iniciais: GPT-5 lidera no sucesso de tarefas
Os resultados iniciais da tabela de classificação do Terminal-Bench 2.0 mostram o Codex CLI (interface de linha de comando) da OpenAI, uma variante com tecnologia GPT-5, na liderança, com uma taxa de sucesso de 49,6% – a mais alta entre todos os agentes testados até agora.
Logo atrás estão outras variantes do GPT-5 e agentes baseados no Claude Sonnet 4.5.
Os 5 principais resultados do agente (Terminal-Bench 2.0):
-
Codex CLI (GPT-5) – 49,6%
-
Codex CLI (GPT-5-Codex) – 44,3%
-
Mãos Abertas (GPT-5) – 43,8%
-
Terminal 2 (GPT-5-Codex) — 43,4%
-
Terminal 2 (Claude Soneto 4,5) – 42,8%
O agrupamento próximo entre os principais modelos indica uma competição ativa entre plataformas, sem que nenhum agente resolva mais de metade das tarefas.
Envio e Uso
Para testar ou enviar um agente, os usuários instalam o Harbour e executam o benchmark usando comandos CLI simples. Os envios para a tabela de classificação exigem cinco execuções de benchmark, e os resultados podem ser enviados por e-mail aos desenvolvedores junto com diretórios de empregos para validação.
porto run -d [email protected] -m "
O Terminal-Bench 2.0 já está sendo integrado a fluxos de trabalho de pesquisa focados em raciocínio agente, geração de código e uso de ferramentas. De acordo com o cocriador Mike Merrill, pesquisador de pós-doutorado em Stanford, uma pré-impressão detalhada está em andamento cobrindo o processo de verificação e a metodologia de design por trás do benchmark.
Visando a Padronização
O lançamento combinado do Terminal-Bench 2.0 e do Harbour marca um passo em direção a uma infraestrutura de avaliação de agentes mais consistente e escalável. À medida que os agentes LLM proliferam em ambientes operacionais e de desenvolvimento, cresce a necessidade de testes controlados e reproduzíveis.
Essas ferramentas oferecem uma base potencial para uma pilha de avaliação unificada — apoiando a melhoria de modelos, simulação de ambiente e padronização de benchmark em todo o ecossistema de IA.
