Pesquisadores do MIT e de outras instituições desenvolveram uma estrutura inovadora que melhora a precisão do código gerado por grandes modelos de linguagem (LLMs). Este avanço aborda um desafio crítico na programação assistida por IA: garantir que o código de computador não apenas siga as regras estruturais de uma linguagem de programação, mas também permaneça livre de erros e mantenha o significado pretendido pelo programador. Métodos tradicionais para validar código gerado por IA tipicamente sacrificam eficiência computacional ou precisão semântica, forçando os desenvolvedores a escolher entre esses atributos essenciais.
A nova abordagem aplica técnicas de Monte Carlo sequencial para guiar os LLMs na geração de texto adequadamente estruturado e semanticamente preciso. Diferentemente dos métodos convencionais que verificam blocos inteiros de código para validação ou corrigem o código incrementalmente com risco de desvio semântico, esta estrutura aloca dinamicamente recursos computacionais para as saídas mais promissoras, descartando candidatos menos viáveis no início do processo. Este método probabilístico combina efetivamente o conhecimento especializado com as capacidades do LLM, permitindo que até mesmo modelos menores gerem resultados de alta qualidade que aderem às restrições especificadas.
Quando testado em vários domínios, incluindo programação Python, consultas de banco de dados SQL, estruturas moleculares e planejamento de robôs, o método dos pesquisadores demonstrou desempenho superior em comparação com abordagens existentes. Notavelmente, a estrutura permitiu que modelos pequenos e de código aberto superassem modelos comerciais especializados com mais do dobro do tamanho. Este ganho de eficiência representa um avanço significativo em tornar ferramentas poderosas de IA mais acessíveis e práticas para uso cotidiano, democratizando o acesso à assistência de programação sofisticada.
Além de suas aplicações imediatas na geração de código, esta pesquisa abre possibilidades para usuários não técnicos interagirem com sistemas complexos. Profissionais de negócios poderão em breve escrever consultas SQL intrincadas usando apenas prompts em linguagem natural, enquanto cientistas poderão empregar ferramentas de IA para pesquisa em biologia molecular com maior confiança na precisão dos resultados. A abordagem também poderia aprimorar sistemas de análise de dados assistidos por máquina, permitindo conversas mais naturais entre usuários e software que interpreta com precisão dados e consultas dos usuários.
Para além das consequências práticas, este trabalho representa um passo modesto, porém significativo, para abordar questões fundamentais em linguística e inteligência artificial sobre como as máquinas podem se comunicar significativamente sobre o mundo. Como observou um pesquisador, isso demonstra a possibilidade técnica de mapear palavras para distribuições de significados fundamentados em domínios simbólicos, potencialmente avançando nossa compreensão da comunicação entre máquinas e da interação humano-computador.
