Gli LLM Prevedono i Propri Fallimenti per Ridurre i Costi di Inferenza

Un recente articolo su arXiv (2602.09924v4) indaga la capacità dei modelli linguistici di grandi dimensioni (LLM) di anticipare le proprie prestazioni su sfide matematiche e di codifica esaminando le attivazioni interne prima dell'esecuzione del compito. I ricercatori hanno impiegato sonde lineari su queste attivazioni pre-generazione per prevedere il successo specifico per varie politiche, rivelando che queste sonde superavano metriche tradizionali come la lunghezza della domanda e TF-IDF. Utilizzando il dataset E2H-AMC, che confronta i risultati umani e del modello sugli stessi compiti, hanno scoperto che i modelli possiedono un'interpretazione unica della difficoltà che differisce dalle valutazioni umane, con questo divario che si amplia durante il ragionamento prolungato. I loro risultati suggeriscono che instradare strategicamente le query tra più modelli può migliorare le prestazioni oltre il miglior modello individuale riducendo significativamente i costi di inferenza. L'articolo, classificato come tipo replace-cross, è accessibile su arXiv, indicando potenziali progressi per un'inferenza economicamente vantaggiosa negli LLM in applicazioni pratiche.