Decodifica degli stati di ragionamento nascosti in modelli mixture-of-experts con J64 e R64

Un articolo arXiv (2608.17638) presenta una lettura interna a due livelli progettata per modelli di ragionamento mixture-of-experts (MoE). Inizialmente, l'approccio condensa lo spazio J su scala di vocabolario in J64, una struttura semantica a 64 assi derivata dagli stati di ragionamento del modello. Questo processo rivela informazioni di stato non visibili nella traccia emessa, distinguendo lo sforzo di inferenza dalla tensione indotta dal problema. J64 ottiene un incremento di 0,096-0,135 nell'AUC (area sotto la curva) fuori campione rispetto a una baseline che legge la stessa sequenza come occupazione di token. Successivamente, il team costruisce R64 dalle statistiche originali di routing degli esperti, ottenendo una proxy a basso overhead con una correlazione mediana per asse compresa tra 0,69 e 0,86 in due famiglie e tre modelli. Su gpt-oss-20b, R64 mantiene il 95-100% del vantaggio predittivo di J64, facilitando decisioni in fase di test a due diverse risoluzioni temporali.