La ricerca mette in discussione l'interpretabilità delle tracce di ragionamento dell'IA nella distillazione della conoscenza

Uno studio recente contesta la convinzione che le tracce di ragionamento provenienti da modelli linguistici di grandi dimensioni sofisticati siano sia semanticamente accurate che comprensibili per gli esseri umani. Questa ricerca, disponibile come arXiv:2505.13792v2, esamina le tracce Chain-of-Thought provenienti da LLM orientati al ragionamento come DeepSeek R1, che assistono nell'inferenza e nell'addestramento di modelli più piccoli tramite distillazione della conoscenza. I ricercatori hanno condotto esperimenti di Question Answering utilizzando la scomposizione dei problemi basata su regole per valutare la semantica delle tracce. Hanno sviluppato dataset di fine-tuning accoppiando ogni problema con tracce corrette o errate, assicurando che la risposta finale rimanesse accurata. La valutazione della correttezza delle tracce ha coinvolto la valutazione dell'accuratezza di ogni sotto-passaggio del ragionamento. Inoltre, il team ha sottoposto a fine-tuning LLM in tre diverse condizioni per misurare l'interpretabilità. Questo lavoro solleva interrogativi sull'efficacia dei passaggi di ragionamento intermedi nel migliorare l'accuratezza, rivelando un potenziale divario tra la generazione delle tracce e la comprensione umana, e evidenziando una questione cruciale nella validazione e comunicazione dei processi di ragionamento dell'IA.