I modelli LLM open-weight mostrano promesse per l'estrazione di caratteristiche e la selezione di algoritmi nell'ottimizzazione combinatoria

Un recente preprint su arXiv (2512.13374) esplora la capacità dei modelli linguistici di grandi dimensioni (LLM) open-weight di acquisire rappresentazioni riutilizzabili per problemi di ottimizzazione combinatoria. Questo studio aggiornato non intende introdurre un nuovo algoritmo o sostituire estrattori di caratteristiche precisi; piuttosto, valuta la fattibilità di utilizzare rappresentazioni LLM congelate per compiti come il recupero di caratteristiche e la selezione di algoritmi. L'approccio prevede l'interrogazione diretta per analizzare l'estrazione esplicita di caratteristiche insieme ad analisi di probing per scoprire se queste informazioni sono intrinsecamente presenti nei livelli nascosti. Il framework di probing è adattato per una sfida di selezione di algoritmi per istanza. Gli esperimenti coprono quattro problemi di benchmark, tre tipi di rappresentazioni di istanze e cinque modelli open-weight con parametri da 3B a 120B. I risultati indicano che queste rappresentazioni possono migliorare i compiti decisionali a valle, fornendo nuove intuizioni sull'automazione dell'ottimizzazione.