MathlibPR: Benchmark per la revisione assistita da LLM di librerie matematiche formali

I ricercatori hanno introdotto MathlibPR, un benchmark costruito a partire dalle storie reali delle pull request di Mathlib4, per valutare se i grandi modelli linguistici (LLM) possono assistere nella revisione dei contributi alle librerie matematiche formali. L'ecosistema Lean e Mathlib è diventato lo standard per il ragionamento formale assistito da LLM, ma la sua crescita è limitata dalla revisione umana. Il benchmark testa sia modelli LLM (DeepSeek, Qwen, Goedel, Kimina) che agenti LLM (Codex, Claude Code) nel giudicare la prontezza delle PR. I risultati iniziali mostrano che sia i modelli che gli agenti faticano a distinguere le PR pronte per il merge da quelle che necessitano modifiche.