O cientista-chefe da OpenAI, Jakub Pachocki, publicou um ensaio no domingo (6) alertando para o ritmo acelerado de evolução da inteligência artificial (IA) e defendendo maior cautela no desenvolvimento de sistemas cada vez mais capazes. Em seu texto, Pachocki destaca que o avanço pode chegar ao ponto de permitir que as máquinas participem cada vez mais do próprio processo de desenvolvimento.
O Avanço da IA e a Expectativa de RSI
Pachocki afirma que, com base em resultados internos, tem forte expectativa de que o ritmo atual de progresso possa continuar até o chamado autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI). Nesse cenário, sistemas de IA passariam a impulsionar cada vez mais o próprio desenvolvimento. Para o cientista, esse caminho exige intervenções mais amplas para garantir que o avanço da tecnologia permaneça sob controle humano.
Desafios da Inteligência Artificial
No ensaio, Pachocki descreve uma mudança ocorrida desde 2023, quando resultados do projeto de pesquisa RLSlow deram à equipe confiança de que seria possível ampliar o treinamento de modelos de raciocínio. Três anos depois, segundo ele, esses sistemas já conseguem operar computadores e interfaces gráficas, colaborar com pessoas e outras IAs e realizar projetos de pesquisa.
O cientista também aponta avanços nas capacidades relacionadas à segurança cibernética. Ao mesmo tempo em que os modelos se tornam mais capazes, Pachocki afirma que seus resultados ficam mais difíceis de interpretar. Para ele, a inteligência produzida pelo deep learning não é diretamente comparável à humana e, conforme a IA supera pessoas em mais áreas, fica mais difícil determinar exatamente do que os sistemas são capazes.
Essa dificuldade está relacionada ao próprio funcionamento dos modelos. Pachocki afirma que a IA é mais “cultivada” do que projetada, sendo resultado da repetição de processos de otimização em grandes quantidades de computação. Segundo ele, os sistemas são extremamente complexos e seu funcionamento geral ainda não pode ser completamente descrito ou compreendido.
O Alinhamento da IA
Outro ponto central do ensaio é o alinhamento da IA, conceito usado para descrever o esforço de fazer com que os sistemas ajam de acordo com padrões e objetivos considerados adequados pelos humanos. Pachocki diferencia o alinhamento de objetivos, relacionado a executar aquilo que foi determinado, do alinhamento de valores, ligado à capacidade de generalizar princípios para situações novas ou ambíguas.
O problema, segundo ele, é que sistemas mais inteligentes passam a atuar em ambientes diferentes daqueles encontrados durante o treinamento. Isso pode dificultar a generalização dos valores ensinados aos modelos. Pachocki afirma que futuras IAs precisam manter valores humanos mesmo quando não acreditarem estar sob supervisão humana.
Monitoramento do Chain of Thought
A OpenAI utiliza diferentes abordagens para tentar lidar com essa questão. Uma delas é o monitoramento do chamado chain of thought, ou cadeia de pensamento, que permite analisar o processo de raciocínio verbalizado dos modelos. Pachocki, porém, afirma que as avaliações da empresa indicam que a capacidade de depender desse monitoramento está diminuindo progressivamente.
Entre os motivos estão o uso dos modelos em ambientes mais complexos, a capacidade crescente das IAs de raciocinar sobre o próprio processo de raciocínio e o aumento da inteligência dos sistemas mesmo sem o uso de raciocínio verbalizado.
A Necessidade de Desenvolvimento
Apesar dos alertas, Pachocki não defende simplesmente interromper o desenvolvimento. Ele considera que há um argumento forte para continuar treinando modelos mais inteligentes rapidamente: criar sistemas de defesa contra os riscos provocados por outras IAs.
O cientista destaca especialmente a cibersegurança. Segundo ele, os modelos estão se tornando sobre-humanos na capacidade de invadir e sair de sistemas computacionais, ampliando o alcance dos riscos associados à tecnologia. A OpenAI, afirma Pachocki, precisa usar os modelos mais avançados disponíveis para reforçar a segurança de infraestruturas críticas.
Ao mesmo tempo, ele afirma que a necessidade de construir defesas não pode servir como justificativa para um avanço imprudente. Para Pachocki, a ideia de avançar “a qualquer custo” deixa de fazer sentido diante da dimensão dos riscos envolvidos.
Conclusão
Jakub Pachocki, cientista-chefe da OpenAI, alerta para o ritmo acelerado de evolução da IA e defende maior cautela no desenvolvimento de sistemas cada vez mais capazes. Ele destaca que o avanço pode chegar ao ponto de permitir que as máquinas participem cada vez mais do próprio processo de desenvolvimento, mas também aponta desafios relacionados à compreensão e controle da IA.