Le dimostrazioni matematiche di OpenAI non soddisfano gli standard AGMAI, secondo un articolo di Cambridge e King's College

Questa settimana, OpenAI ha presentato centinaia di presunte soluzioni ad alcuni dei problemi matematici più complessi a livello globale, dopo aver consultato un gruppo di matematici di élite per evitare polemiche in seguito alla risoluzione di una questione annosa da parte di un modello precedente. L'Advisory Group on Mathematics and Artificial Intelligence (AGMAI), composto da nove illustri ricercatori e ospitato dall'Institute for Advanced Studies dell'Università di Princeton, ha fornito linee guida alla fine di settembre. La raccomandazione iniziale dell'AGMAI era di astenersi dal testare problemi matematici avanzati utilizzando modelli proprietari; tuttavia, il rilascio di OpenAI valuta i modelli proprietari rispetto a sfide di ricerca aperte. Solo 10 dei 719 manoscritti presentavano il ragionamento del modello, e appena il 42% delle dimostrazioni non era stato formalizzato. Un recente studio di matematici dell'Università di Cambridge e del King's College di Londra ha identificato almeno due incongruenze tra la dimostrazione in linguaggio naturale e il codice Lean per la soluzione di OpenAI a un problema relativo alle equazioni di Navier-Stokes. L'AGMAI ha richiesto che OpenAI incorporasse metadati leggibili da macchina che collegassero il linguaggio naturale agli artefatti formali, cosa che non è stata soddisfatta. Terence Tao ha criticato i prompt engineer dell'IA per il loro scarso interesse verso il campo più ampio, mentre la professoressa di matematica di Harvard Melanie Wood ha commentato a TechCrunch che al momento del rilascio non vi è una genuina comprensione umana.