A forma de interação com LLMs começou como uma questão de 'como formular a frase para que o modelo a entenda'. As técnicas clássicas incluíam zero-shot, few-shot, chain-of-thought e role-playing. No entanto, a fragilidade era extremamente alta, com otimizações baseadas em tentativa e erro humano. Não havia métricas robustas ou loops de melhoria automática. Embora funcione bem para chats pontuais, falhava em pipelines de produção.
RAG e Engenharia de Contexto: O LLM como CPU e o Contexto como RAM
Quando as janelas de contexto cresceram, a pergunta mudou de 'como perguntar' para 'o que o modelo vê'. O termo 'engenharia de contexto' foi popularizado por Tobi Lütke e Andrej Karpathy, que destacaram a importância de preencher a janela de contexto com informações adequadas para cada etapa. A analogia de Lütke é que o LLM é a CPU e o contexto é a RAM.
O Que é Engenharia de Contexto
Engenharia de contexto não é apenas RAG clássica (buscando documentos e jogando no prompt). É curar o conjunto de tokens que o modelo vê em cada chamada, incluindo definições de ferramentas, resultados de ferramentas anteriores, e técnicas práticas como taxonomia comum. Isso inclui ferramentas de escrita, compressão, isolamento e outros métodos.
Problemas Residuais
Apesar do avanço do RAG e dos bancos vetoriais, ainda havia alucinações estruturais devido à falta de controle rigoroso do ambiente externo. O 'perdido no meio' e a poluição de contexto continuaram sendo problemas comuns.
Harness Engineering, Prompt Loops e Automação (2026)
A harness engenharia é a camada seguinte, envolvendo tudo o que envolve o modelo: loop de execução, ferramentas, gerenciamento de contexto, sandboxes, guardrails, verificação, observabilidade e orquestração. Em sistemas de agentes modernos, a maior parte do código de produção fica no harness, não na chamada ao LLM. O ambiente de execução (sandbox/container isolado), o registro de ferramentas (MCP, função chamada), gerenciamento de contexto e memória, loop (planejamento → ação → observação → verificação), verificação determinística (linters, testes, esquemas) são alguns dos elementos que fazem parte do harness.
Prompt Loops e Otimização Programática (DSPy e similares)
Em vez de reescrever prompts, os prompt loops e otimizações programáticas (como DSPy) permitem que o modelo se ajuste e otimize continuamente. Esses métodos permitem que o modelo aprenda e ajuste-se de forma programática, melhorando a eficiência e a precisão.
Conclusão
A evolução da interação com LLMs é uma jornada contínua, passando por API REST direta, prompt engineering, RAG e context engineering, até o harness engineering e test-time compute. Com o avanço dessas tecnologias, a confiabilidade e eficiência na interação com LLMs estão se tornando cada vez mais robustas e controláveis.