Quantas vezes você perdeu a paciência com um erro 429 de 'Rate limit reached' ao testar uma nova feature de IA? O LocalRouter resolve esse problema, automatizando a rotação entre provedores de API de IA.
Funcionamento do LocalRouter
LocalRouter é um gateway PHP puro que cria um endpoint único para APIs de IA. Ele faz rotação automática entre provedores quando um falha. O projeto é feito para aproveitar as cotas diárias gratuitas de várias empresas, incluindo NVIDIA, Groq, OpenRouter e Cerebras.
Configuração
Para configurar o LocalRouter, você baixa o projeto, sobe o servidor embutido e configura seus provedores, modelos e chaves. Você pode usar qualquer SDK padrão OpenAI, agente de IA ou IDE para fazer a requisição.
Funcionalidades
O LocalRouter traduz o formato padrão OpenAI para a API, tornando a implementação e manutenção muito simples. Ele também resume a troca de provedores para o app, mesmo quando a conexão cai durante um streaming de texto.
Limitações
O LocalRouter não guarda estado por padrão, o que significa que um provedor esgotado será tentado novamente na próxima requisição, a menos que você ative a flag COOLDOWN_SECONDS para deixá-lo em 'castigo'.
Comandos Adicionais
O LocalRouter também pode analisar a primeira linha do prompt para ver se é um comando para o roteador. Por exemplo, você pode usar comandos como!CMD;modelo X,!CMD;status,!CMD;info,!CMD;default modelo X,!CMD;think e!CMD;raw para realizar ações específicas.
Conclusão
LocalRouter é uma solução prática e fácil de implementar para APIs de IA. Ele pode ser usado como uma API local para custom providers no VSCode, Cursor, Claude Code ou em algum agente de IA. A próxima versão do LocalRouter incluirá RAG e System Prompt para melhorar as respostas.
LocalRouter é uma ferramenta útil para simplificar a implementação e manutenção de APIs de IA. Ele pode ser usado tanto como uma API local quanto para rotacionar APIs de IA entre diferentes provedores. Com as funções adicionais de comando, ele torna a vida do desenvolvedor muito mais fácil e eficiente.