O Modelo de Ponta Está Superqualificado

O número na fatura não foi a surpresa. A divisão foi.

Puxei um mês de uso de tokens de um projeto paralelo, esperando que o custo estivesse no trabalho difícil. Os passos de raciocínio. A geração de código. Os lugares onde o modelo justifica o preço. Em vez disso, a maior parte do gasto estava em outro lugar. Resumos de documentos. Etiquetar itens por categoria. Decidir qual de quatro rotas uma requisição deve seguir. Trabalhos curtos, repetitivos, monótonos. Cada um cobrado à mesma tarifa de ponta do raciocínio difícil, porque cada um era a mesma chamada de API para o mesmo modelo caro.

Eu tinha contratado um engenheiro sênior para digitar dados, e estava pagando tarifa de engenheiro sênior por cada tecla.

A dificuldade é bimodal

Olhe o trabalho que um LLM faz em uma pipeline real e a dificuldade se separa em duas pilhas, não em uma curva suave.

Uma pilha é de verdade difícil. Raciocínio de múltiplos passos. Escrever código correto o bastante para compilar e rodar. Pesar trade-offs sem resposta limpa. É aqui que um modelo de ponta abre vantagem, e a diferença é grande o suficiente para sentir.

A outra pilha é de escritório. Resuma este trecho. Este chamado é um bug ou uma funcionalidade. Extraia as três datas deste e-mail. Escolha a ferramenta certa para esta consulta. Esses trabalhos têm uma resposta certa que um estagiário competente acerta toda vez. Eles não precisam do modelo mais inteligente do mundo. Precisam de um modelo fluente em português claro e bom em seguir instruções.

A maioria das pipelines manda as duas pilhas para o mesmo modelo, porque roteá-las em separado dá mais trabalho do que escrever um cliente e apontar tudo para ele. Então a pilha de escritório pega carona a preços de ponta. Em volume baixo ninguém percebe. Em volume real a pilha de escritório é a conta. É o mesmo desperdício com que sempre esbarro: pagar a um modelo um prêmio por um trabalho que algo mais barato faz igualmente bem. Semana passada argumentei que você não deveria fazer o modelo executar um passo de build. Este é o mesmo erro vestindo outra roupa.

Modelos abertos passaram a barra fácil

Aqui está o que mudou, e por que vale escrever isto agora em vez de dois anos atrás.

Os modelos de pesos abertos são bons. Não bons-porque-de-graça. Bons. Llama, Qwen, Mistral, Gemma, e o próprio gpt-oss da OpenAI passam a camada fácil sem suar. Resumo, classificação, extração, roteamento: um modelo aberto de porte médio faz isso tão bem quanto o modelo de ponta, porque a tarefa nunca precisou de raciocínio de ponta em primeiro lugar. O teto do trabalho de escritório é baixo, e esses modelos ficam bem acima dele.

Dois anos atrás isso não era verdade. Os modelos abertos alucinavam estrutura, fugiam das instruções e desmoronavam em qualquer coisa além de um prompt de brinquedo. Você pagava por um modelo de ponta porque a opção barata não funcionava. A desculpa acabou.

Onde traçar a linha

A divisão não é sutil depois que você procura por ela. Rebaixe qualquer item desta lista para um modelo aberto pequeno:

• Resumir um documento ou uma conversa.
• Classificar: bug ou funcionalidade, urgente ou não, qual de cinco caixas.
• Extrair campos de texto bagunçado para uma estrutura limpa.
• Rotear uma requisição para a ferramenta certa ou o modelo seguinte certo.
• Reordenar uma lista de trechos recuperados por relevância.

Mantenha estes no modelo de ponta:

• Raciocínio de múltiplos passos onde uma curva errada arruína a resposta.
• Geração de código que você pretende rodar.
• Decisões de julgamento com riscos reais e sem regra limpa.

O teste é simples. Um estagiário esperto acertaria isto com instruções claras? Mande para o modelo barato. Precisa do julgamento de um engenheiro sênior? Pague pelo engenheiro sênior.

Como rodar a camada barata

Dois caminhos, e nenhum é um projeto de fim de semana.

Inferência hospedada é o caminho sem operação. Groq, Together, Fireworks e OpenRouter servem modelos abertos por trás de uma API com o formato da que você já chama. Você troca uma URL base e um nome de modelo. O preço por token de um modelo aberto pequeno fica numa fração do de um modelo de ponta, às vezes um décimo ou menos. Para a maioria das pessoas, essa é a resposta inteira.

Auto-hospedagem é o outro caminho. Ollama numa estação de trabalho para desenvolvimento, vLLM numa máquina com GPU para produção. Você troca configuração e operação por inferência cujo preço é eletricidade em vez de margem por token. Isso compensa em volume alto e constante, e não antes.

De qualquer forma, a peça que amarra tudo é um pequeno roteador na frente das suas chamadas. Marque cada trabalho por camada, mande a pilha de escritório para o endpoint barato, mande a pilha difícil para a ponta. Uma dúzia de linhas de código, e ela carrega toda a economia.

Seja honesto sobre a troca

Não confie em achismo aqui. Antes de mover um trabalho para um modelo mais barato, rode os dois nas mesmas cem entradas e compare. Mais barato só é mais barato se a saída ainda se sustenta. Às vezes um trabalho que você supôs ser de escritório se apoia em raciocínio que você não viu, e o modelo pequeno expõe isso. Melhor descobrir por uma avaliação do que pela produção.

Mais duas notas honestas. Modelos abertos mudam rápido, então a escolha certa deste trimestre não é a escolha certa do próximo. Reveja. E a economia só importa em volume. Em cem chamadas por mês, deixe tudo no modelo de ponta e gaste sua atenção em outra coisa.

Fechamento

O modelo de ponta é para os dez por cento difíceis. O raciocínio, o código, o julgamento. Você paga o prêmio por isso, e vale a pena.

Os outros noventa por cento são arquivo morto. Resumos, etiquetas, extrações, rotas. Um modelo aberto de uma fração do tamanho faz o mesmo trabalho tão bem, por uma fração do preço.

Pare de mandar seu trabalho de escritório para o gênio. Ele está superqualificado, e está cobrando você pelo privilégio.