Modelos do OpenAI e DeepMind obtiveram escores de medalhas de ouro na Olimpíada Matemática Internacional.Crédito: Moiram/Alamy
O Google DeepMind anunciou em 21 de julho que seu software havia criticado um conjunto de problemas de matemática no nível dos principais alunos do ensino médio do mundo, alcançando uma pontuação medalha de ouro em perguntas da Olimpíada Matemática Internacional. À primeira vista, isso marcou apenas uma melhoria marginal em relação ao desempenho do ano anterior. O sistema da empresa havia realizado na faixa superior do padrão de medalha de prata na Olimpíada de 2024, enquanto este ano foi avaliado na faixa mais baixa para um medalhista de ouro humano.
DeepMind AI esmaga problemas de matemática difíceis a par dos melhores solucionadores humanos
Mas as notas este ano escondem uma “grande mudança de paradigma”, diz Thang Luong, cientista da computação da DeepMind em Mountain View, Califórnia. A empresa alcançou seus feitos anteriores usando duas ferramentas de inteligência artificial (AI) projetadas especificamente para executar etapas lógicas rigorosas em escaladas de prova matemática, denominadas alfageometria e alfaproof. O processo exigiu que os especialistas humanos traduzissem as declarações dos problemas em algo semelhante a uma linguagem de programação e depois traduzissem as soluções da IA de volta para o inglês.
“Este ano, tudo é linguagem natural, de ponta a ponta”, diz Luong. A equipe empregou um grande modelo de idioma (LLM) chamado DeepThink, que é baseado em seu sistema de gêmeos, mas com alguns desenvolvimentos adicionais que o tornaram melhor e mais rápido na produção de argumentos matemáticos, como lidar com várias cadeias de pensamento em paralelo. “Durante muito tempo, não achei que pudéssemos ir tão longe com o LLMS”, acrescenta Luong.
O DeepThink marcou 35 dos 42 pontos nos 6 problemas que foram dados aos participantes da Olimpíada deste ano. Sob um acordo com os organizadores, as soluções do computador foram marcadas pelos mesmos juízes que avaliaram os participantes humanos.
Separadamente, o criador do ChatGPT Openai, com sede em São Francisco, Califórnia, tinha seu próprio LLM, resolvendo os mesmos problemas da Olimpíada Matemática no nível da medalha de ouro, mas tive suas soluções avaliadas independentemente.
Desempenho impressionante
Durante anos, muitos pesquisadores de IA caíram em um dos dois campos. Até 2012, a principal abordagem para codificar as regras do pensamento lógico na máquina manualmente. Desde então, as redes neurais – que treinam automaticamente aprendendo com vastos tesouros de dados – fizeram uma série de avanços sensacionais, e ferramentas como o ChatGPT do OpenAI agora entraram no uso principal.
DeepMind AI resolve problemas de geometria em nível de estrela-estudante
Gary Marcus, neurocientista da Universidade de Nova York (NYU), na cidade de Nova York, chamou os resultados de DeepMind e Openai de “terrivelmente impressionante”. Marcus é um defensor da abordagem ‘lógica de codificação manual’ – também conhecida como IA neurossimbólica – e um crítico frequente do que ele vê como hype em torno do LLMS. Ainda assim, escrevendo no Substack com o cientista da NYU Computer Ernest Davis, ele comentou que “poder resolver problemas de matemática no nível dos 67 melhores alunos do ensino médio do mundo é ter um bom problema de resolução de problemas de matemática”.
Resta saber se a superioridade do LLM nos problemas da IMO está aqui para ficar ou se a IA neurossimbólica voltará ao topo. “Neste ponto, os dois campos ainda continuam se desenvolvendo”, diz Luong, que trabalha em ambas as abordagens. “Eles poderiam convergir juntos.”