L'apprendimento a livello di segmento migliora la dimostrazione di teoremi LLM in Lean 4
Un recente articolo su arXiv (2605.11905) introduce la supervisione a livello di segmento volta a migliorare l'addestramento degli LLM per la dimostrazione automatica di teoremi utilizzando Lean 4. Questa tecnica estrae segmenti di dimostrazione localmente coerenti dalle traiettorie, trovando un equilibrio tra la previsione di singole tattiche e la generazione di dimostrazioni complete. I modelli di policy, addestrati su STP, LeanWorkbook e NuminaMath-LEAN, mostrano tassi di successo migliorati nella dimostrazione. Inoltre, questo metodo viene utilizzato durante l'inferenza per avviare brevi rollout per i modelli a livello di passo correnti.
Fatti principali
- L'articolo arXiv 2605.11905 propone la supervisione a livello di segmento per la dimostrazione di teoremi basata su LLM in Lean 4
- L'approccio estrae segmenti di dimostrazione localmente coerenti dalle traiettorie
- Punto intermedio tra la previsione di tattiche a livello di passo e la generazione di dimostrazioni complete
- Addestrato sui dataset STP, LeanWorkbook e NuminaMath-LEAN
- I modelli di policy raggiungono tassi di successo più elevati nella dimostrazione
- Metodo riutilizzato al momento dell'inferenza per rollout brevi
- Rivisita la granularità della supervisione come problema di costruzione del set di addestramento
- Pubblicato su arXiv con Announce Type new
Entità
Istituzioni
- arXiv
- Lean 4
- STP
- LeanWorkbook
- NuminaMath-LEAN