O Open-RLCD é um modelo de decisão aberto que combina texto e imagem, oferecendo uma alternativa ao Jev, um modelo fechado de TypeSafe. Este guia analisa os principais recursos e desempenho do Open-RLCD.
Descrição do Open-RLCD
O Open-RLCD é uma API com o mesmo contrato do Jev, rodando em cima de um modelo aberto desmontado. Ele aceita um estado (texto, JSON, logs) e responde a perguntas tipadas, retornando uma distribuição de probabilidade para cada pergunta. O Open-RLCD é uma alternativa aberta ao Jev, que é fechado, hospedado e tem lista de espera.
Desempenho do Open-RLCD
O Open-RLCD foi testado em um hardware com duas RTX 3090, e os resultados foram os seguintes:
- Texto: 57 ms por requisição
- Imagem: 285 ms por foto
O Open-RLCD é compatível com o Jev e tem concordância de 92% em 255 perguntas contra o Jev-1.13. O Open-RLCD também aceita fotos no estado e responde às mesmas perguntas sobre elas, com uma latência de 285 ms por foto numa GPU.
Limitações e Desafios
O Open-RLCD não inclui a capacidade de processar imagens de maneira eficiente. Ele também não inclui a capacidade de calibrar pesos, o que pode afetar o desempenho. Além disso, o Open-RLCD não inclui a capacidade de treinar uma cabeça de calibração, o que pode afetar a precisão do modelo.
Conclusão
O Open-RLCD é uma alternativa aberta ao Jev, oferecendo uma maneira de processar texto e imagem de maneira eficiente. No entanto, ele ainda tem limitações e desafios que precisam ser resolvidos para atingir o mesmo desempenho do Jev.