Introdução
O llamport é uma API de LLM pay-as-you-go focada nos modelos Codex. Compre crédito, crie uma chave e use no Codex CLI, no Claude Code ou nos SDKs da OpenAI e da Anthropic. Este guia analisa as decisões técnicas que mais pesaram no design do llamport.
Diferentes Dialectos de Ferramentas
Cada ferramenta fala um dialeto diferente: o Codex CLI usa a OpenAI Responses, o Claude Code usa a Anthropic Messages, e muito código legado ainda usa Chat Completions. Para quem usa, muda só a base URL e a chave.
Problema de Cache de Prompt
Um detalhe que custou um bug: chamadas de ferramenta sem argumentos (vazios ou null) chegavam ao Codex sem o campo arguments, e o upstream respondia 400 missing_required_parameter. Hoje o campo é sempre enviado, como {} quando não há argumentos.
O cache de prompt é o que mais pesa no custo. No edge, cada requisição recebe uma chave estável por conversa: um UUIDv5 da chave do cliente, do modelo e da primeira fonte disponível entre os headers de sessão, o prompt_cache_key do corpo, a sessão do Claude Code ou os primeiros textos de system e de usuário. Essa chave segue para o Codex como prompt_cache_key e no header Session-Id, do mesmo jeito que o Codex CLI faz.
Afinidade de Sessão
Com afinidade de sessão, os turnos da mesma conversa vão para o mesmo upstream, então o cache continua quente. Cada requisição vai para um upstream saudável e, se ele falhar, para o próximo. O saldo vai exatamente até zero e nunca fica negativo: não existe dívida.
Outras Abordagens Pragmáticas
No SecretárioExecutivo, onde processamos transcrições longas de chamadas (Google Meet, Microsoft Teams e Zoom) para extrair atas diarizadas e tarefas para Trello/Jira, esbarramos num problema correlato: picos ocasionais de latência das APIs de LLM que seguravam buffers de requisição e estouravam o limite de RAM do container Fastify (~30 MB em VPS de 2GB). Resolvemos com duas abordagens pragmáticas: Normalização Canônica de Diarização e Fast-Break com Fallback Determinístico (Promise.
Conclusão
Com estratégias de cache e afinidade de sessão inovadoras, o llamport oferece uma solução eficiente para gerenciar custos e melhorar a performance em aplicações com IA.
Comentários