ReProbe: Scaling efficiente al test per ragionamento multi-step tramite sonda dello stato interno

I ricercatori hanno introdotto ReProbe, una tecnica efficiente progettata per verificare i passaggi di ragionamento nei modelli linguistici di grandi dimensioni (LLM) esaminando i loro stati interni. A differenza dei Process Reward Models (PRM), che richiedono molte risorse e necessitano di annotazioni estese, ReProbe impiega una sonda basata su transformer con meno di 10 milioni di parametri. Questa sonda valuta l'affidabilità di ogni passaggio di ragionamento durante il processo di generazione, utilizzando gli stati interni di un LLM statico. Le annotazioni possono essere generate da un LLM più esteso, come DeepSeek-R1, o tramite auto-supervisione da parte del modello originale. Questo metodo facilita un efficiente scaling al test (TTS) campionando varie opzioni di ragionamento e scegliendo i passaggi ottimali per la continuazione. L'approccio è stato testato in diversi domini, mostrando capacità di ragionamento migliorate senza gli onerosi requisiti dei PRM. Il paper è disponibile su arXiv con ID 2511.06209.