Insegnare ai LLM la Critica Temporale per il Ragionamento Ex-Ante
Un recente articolo su arXiv (2605.14636) esplora le carenze dei grandi modelli linguistici (LLM) nel ragionamento ex-ante, che consiste nel rispondere a domande basandosi su conoscenze pregresse senza utilizzare informazioni future. I ricercatori hanno scoperto che il modo in cui vengono presentate le informazioni sul cutoff influenza significativamente la perdita temporale; le frasi esplicite di cutoff sono più efficaci dei contesti storici impliciti, e le limitazioni di prefisso sono migliori nel ridurre la perdita rispetto a quelle di suffisso. Sebbene il prompting possa guidare i modelli in un contesto temporale specifico, non consente loro di confermare l'appropriatezza di tale quadro temporale. Lo studio conclude che il solo fine-tuning supervisionato è inadeguato, poiché l'accuratezza ex-ante non è una caratteristica intrinseca delle risposte fornite.
Fatti principali
- L'articolo arXiv 2605.14636 studia il fallimento degli LLM nel ragionamento ex-ante.
- La perdita temporale si verifica quando i modelli utilizzano conoscenze successive al cutoff.
- Le dichiarazioni esplicite di cutoff riducono la perdita meglio delle cornici storiche implicite.
- I vincoli di prefisso sono più efficaci dei vincoli di suffisso.
- Il prompting da solo non può verificare l'ammissibilità temporale.
- Il fine-tuning supervisionato è insufficiente per la correttezza ex-ante.
- La correttezza ex-ante non è intrinseca a una risposta.
- L'articolo è disponibile su https://arxiv.org/abs/2605.14636.
Entità
Istituzioni
- arXiv