Le sonde rilevano il contesto corrotto ma non riescono a prevedere gli errori nei modelli linguistici
Un nuovo studio su arXiv (2608.07528) rivela un divario tra la capacità delle sonde lineari di rilevare la corruzione nei modelli linguistici e la loro capacità di prevedere errori. Mentre queste sonde possono identificare accuratamente contesti corrotti, non riescono a valutare l'accuratezza delle risposte in problemi aritmetici multi-step. La ricerca, che includeva ipotesi pre-registrate, ha scoperto che i modelli che utilizzano formati di confidenza strutturati spesso si stabilizzano su due tassi di errore simili. Inoltre, la persistenza delle sonde su più passaggi non differenzia efficacemente tra risposte giuste e sbagliate, mettendo in discussione l'idea 'la persistenza batte il picco'. Questo schema si osserva in diversi tipi di modelli. L'efficacia del monitoraggio basato su sonde varia in base al modello e al tipo di errore, con branch-and-pick che mostra risultati promettenti, specialmente con Llama-3.1-8B.
Fatti principali
- Le sonde lineari rilevano il contesto corrotto con precisione quasi perfetta.
- Il rilevamento tramite sonde non si traduce in una previsione affidabile degli errori.
- La dissociazione è osservata in catene aritmetiche multi-hop.
- I formati di confidenza strutturati collassano a due valori con tassi di errore indistinguibili.
- La persistenza delle sonde attraverso i passaggi non riesce a separare gli esiti corretti da quelli errati.
- L'ipotesi pre-registrata 'la persistenza batte il picco' è stata confutata.
- Il modello si generalizza attraverso famiglie di modelli, inclusi i modelli di ragionamento.
- Branch-and-pick è net-positivo su tutti i modelli e unico non distruttivo su Llama-3.1-8B (4 recuperati, 0 rotti).
Entità
Istituzioni
- arXiv