A2RBench: Benchmark Automatico per il Ragionamento Astratto degli LLM
Un nuovo pipeline automatizzato chiamato A2RBench genera benchmark formalmente verificabili per testare il ragionamento astratto nei modelli linguistici di grandi dimensioni (LLM). Il sistema utilizza gli LLM per creare diversi compiti di ragionamento, poi li espande riutilizzando regole validate e generando nuovi spazi di input. Per eliminare le allucinazioni, il pipeline impiega una verifica programmatica attraverso la consistenza ciclica—testando se un'operazione inversa inverte un'operazione diretta. Questo approccio mira a misurare il ragionamento genuino piuttosto che la memorizzazione, affrontando i limiti dei benchmark esistenti che si basano su costose annotazioni manuali o rischiano di testare la memorizzazione. L'articolo su arXiv (2605.17278) dettaglia le fasi di generazione, espansione, valutazione e analisi.
Fatti principali
- A2RBench è un pipeline automatizzato per generare benchmark di ragionamento astratto
- Include fasi di generazione, espansione, valutazione e analisi
- Gli LLM creano compiti diversificati che richiedono ragionamento genuino
- L'espansione riutilizza regole validate ed espande gli spazi di input
- La verifica programmatica usa la consistenza ciclica per eliminare le allucinazioni
- La consistenza ciclica verifica se un'operazione inversa inverte un'operazione diretta
- Affronta i limiti dell'annotazione manuale e dei rischi di memorizzazione
- Pubblicato su arXiv con ID 2605.17278
Entità
Istituzioni
- arXiv