Generalizzazione della lunghezza nei Transformers caratterizzata per i linguaggi regolari

Uno studio teorico recente pubblicato su arXiv (2608.13433) fornisce la prima descrizione completa dei linguaggi regolari per i quali i modelli linguistici basati su transformer possono generalizzare in lunghezza. Introduce un algoritmo decisionale in tempo polinomiale che dipende dalla dimensione del monoide sintattico del linguaggio. Questa ricerca colma una lacuna cruciale, poiché in precedenza non era chiaro quali compiti consentissero tale generalizzazione, anche tra i linguaggi regolari. Gli autori caratterizzano con successo questi linguaggi utilizzando C-RASP, un formalismo che identifica i linguaggi su cui i transformer possono generalizzare in lunghezza. I metodi tradizionali come la decomposizione di Krohn-Rhodes sono inadeguati per C-RASP, rendendo necessarie nuove tecniche algebriche specificamente progettate per esso. Questo lavoro è fondamentale per il campo dell'IA, poiché stabilisce un quadro solido per prevedere la generalizzazione della lunghezza nei transformer, influenzando la progettazione di modelli per compiti con lunghezze di input variabili.