MathAtlas: Benchmark di Autoformalizzazione Matematica a Livello di Laurea Magistrale
MathAtlas è stato presentato dai ricercatori come il primo ampio benchmark per l'autoformalizzazione della matematica avanzata a livello di laurea magistrale. Questa risorsa comprende circa 52.000 teoremi, definizioni, esercizi, esempi e dimostrazioni tratti da 103 libri di testo di livello magistrale, completati da un grafo di dipendenze con circa 178.000 relazioni. Gli attuali modelli di base forti raggiungono una correttezza massima del solo 9,8% per le affermazioni di teoremi e del 16,7% per le definizioni, sottolineando le significative sfide in questo campo.
Fatti principali
- MathAtlas è il primo benchmark di autoformalizzazione su larga scala per la matematica a livello di laurea magistrale.
- Contiene circa 52.000 teoremi, definizioni, esercizi, esempi e dimostrazioni.
- Il benchmark è estratto da 103 libri di testo di matematica di livello magistrale.
- Include un grafo di dipendenze matematiche con circa 178.000 relazioni.
- I modelli di base forti raggiungono al massimo il 9,8% di correttezza sulle affermazioni di teoremi.
- I modelli di base forti raggiungono al massimo il 16,7% di correttezza sulle definizioni.
- Il benchmark è progettato per facilitare la valutazione e lo sviluppo di sistemi di autoformalizzazione consapevoli delle dipendenze.
- Le prestazioni dei modelli allo stato dell'arte degradano sostanzialmente con la dipendenza.
Entità
—