OpenLLM evoluiu de roteador de modelos de IA para orquestrador de IA multimodal. Este projeto, baseado no Vast.ai, agora suporta textos, imagens, áudio e vídeo, tudo por centavos.
Catálogo de Modelos Interno
O OpenLLM utiliza um catálogo interno para determinar o engine e a VRAM necessário para cada tipo de modelo. Isso permite que modelos de texto, imagem, áudio e vídeo sejam processados de maneira eficiente.
Escala Horizontal
O OpenLLM oferece escalabilidade horizontal, permitindo que múltiplas máquinas sejam escaladas em um único endpoint, com um load balancer para distribuir a carga. Este processo pode ser realizado em apenas alguns segundos.
Swap de VRAM
O OpenLLM suporta swap de VRAM, permitindo que novos modelos sejam baixados em máquinas já pagas, mantendo o modelo antigo em operação. Este processo é feito sem a necessidade de re-alugar a máquina.
Plataformas Multimodais
O OpenLLM suporta múltiplas modalidades em um único endpoint, permitindo que textos, imagens, áudio e vídeo sejam processados de maneira eficiente e sem a necessidade de recompilar o engine.
Engenharia de Produção
O OpenLLM incorpora várias funcionalidades de engenharia de produção, incluindo autodestruição de hosts, seleção de oferta por banda de rede, e proteção contra vazamento.
Economia de VRAM
O OpenLLM aproveita a VRAM que sobra, permitindo que múltiplos modelos sejam processados simultaneamente em uma única GPU. Isso é possível através de configurações JSON e flags.
Comparativo de Custos
Com o OpenLLM, modelos de texto, imagem, áudio e vídeo podem ser processados por centavos. Isso é mais de 10 a 500 vezes mais barato do que as APIs de modelos de IA.
Conclusão
OpenLLM é uma plataforma robusta e eficiente para modelos de IA, oferecendo economia de VRAM e uma ampla gama de modalidades. É uma ótima opção para quem deseja economizar recursos e ter controle total sobre a configuração do sistema.