Controller di Campionamento Adattivo per il Ridimensionamento del Tempo di Test degli LLM

Un preprint arXiv (2608.03961) ha presentato una nuova tecnica adattiva di ridimensionamento del tempo di test per i modelli di linguaggio di grandi dimensioni (LLM), che sostituisce i budget di campionamento statici per query con un controllore fuzzy semplificato. Questo controllore sfrutta indicatori interpretabili, come la complessità stimata dei prompt e la confidenza del modello, per regolare i budget di campionamento in tempo reale: i prompt più semplici o affrontati con maggiore confidenza ricevono meno campioni, mentre quelli più complessi o incerti ne ricevono di più. Questo approccio consente un processo di calcolo trasparente al momento dell'inferenza, piuttosto che rigido o poco chiaro. Il metodo viene valutato utilizzando un protocollo di allineamento equo con parametri di decodifica coerenti e selezione delle risposte regolamentata, confrontandolo con i criteri best-of-N, ridimensionamento consapevole del calcolo e basati sull'autocertezza in compiti di question-answering.