Uma nova técnica de raciocínio, conhecida como 'recorrent depth' ou 'recorrência opaca', será usada no próximo modelo de IA da OpenAI, chamado Astra. Este método permite que o modelo vá além do processo de pensamento sequencial característico de muitos modelos de raciocínio.
Monitorabilidade e Recorrência
A preocupação está no fato de que essa abordagem pode tornar o chamado chain of thought, ou cadeia de pensamento, mais difícil de monitorar. Para especialistas em segurança de IA, isso pode reduzir a capacidade de acompanhar o que um modelo está fazendo internamente e identificar comportamentos potencialmente perigosos.
Limitações e Reações
Embora a OpenAI afirme que a recorrência será limitada no Astra, a possibilidade de ampliá-la no futuro já provocou reações entre pesquisadores. O CEO da Redwood, Buck Shlegeris, expressou preocupação, sugerindo que a recorrência pode tornar o modelo menos monitorável.
Impacto na Monitorabilidade
A cadeia de pensamento também teve papel importante na investigação de comportamentos problemáticos de agentes de IA. O especialista Zvi Mowshowitz, conhecido defensor da segurança de IA, também expressou preocupação, sugerindo que a utilização mais intensa dessas técnicas poderia prejudicar a capacidade de monitoramento dos modelos.
Plano de Monitoramento
Apesar das preocupações, a OpenAI anunciou que a cadeia de pensamento do modelo Astra ainda deverá permanecer legível. A empresa também rejeitou sugestões de que o novo sistema passaria a utilizar uma forma de processamento completamente inacessível.
Conclusão
A utilização da técnica de recorrência no Astra pode tornar mais difícil monitorar o pensamento interno dos modelos de IA. A OpenAI já anunciou planos para desenvolver sistemas extensivos de monitoramento da cadeia de pensamento como parte de suas estratégias futuras de segurança. O receio é que um aumento significativo da recorrência possa fazer com que os modelos tenham processos internos cada vez mais difíceis de acompanhar, justamente à medida que suas capacidades também aumentam.