Controllo del Ragionamento nei Modelli Linguistici con Steering Basato su Autoencoder Sparsi

I ricercatori propongono SAE-Steering, un metodo per controllare le strategie di ragionamento nei Modelli di Ragionamento su Larga Scala (LRM) sfruttando gli Autoencoder Sparsi (SAE) per decomporre gli stati nascosti entangled in uno spazio di caratteristiche disambiguato. L'approccio affronta l'inefficienza e gli errori della selezione autonoma delle strategie di ragionamento. Un pipeline a due fasi identifica le caratteristiche specifiche delle strategie dal vasto pool di caratteristiche SAE, consentendo un controllo granulare sui processi di ragionamento come il backtracking e la verifica incrociata. Il lavoro è dettagliato in arXiv:2601.03595.