L'ablazione controllata rivela che il routing delle azioni guida i guadagni di auto-riflessione nei LLM

Un recente preprint disponibile su arXiv (2608.12322) descrive uno studio di ablazione controllata che coinvolge sei condizioni e che esamina quattro elementi di auto-riflessione nei modelli linguistici di grandi dimensioni (LLM): esposizione alle prove, scaffolding diagnostico, vocabolario tassonomico e routing delle azioni. Questa ricerca, incentrata sulla previsione dei conflitti armati, rivela che le indagini diagnostiche strutturate non migliorano i risultati rispetto alla riflessione non strutturata (F1 = 0,296 vs 0,297, p = 1,000, IC 95% [-0,041, +0,040]). Inoltre, l'uso della tassonomia completa dell'incertezza limitando lo spazio delle azioni a una sola azione generica non mostra alcun beneficio (ΔF1 = +0,008, IC 95% sovrapposti). Al contrario, il routing delle azioni tipizzato produce costantemente risultati positivi (F1 = 0,379 vs 0,296), con una stima conservativa di ΔF1 = +0,075 tenendo conto del vocabolario tassonomico. Lo studio conclude che i miglioramenti nel ragionamento dei LLM derivano dal routing delle azioni piuttosto che dallo scaffolding diagnostico o dal vocabolario tassonomico, evidenziando la necessità di strategie di auto-riflessione più efficaci nello sviluppo dell'IA.