Triangolo Impossibile: Efficienza, Compattezza e Richiamo nei Modelli a Contesto Lungo

Un recente articolo pubblicato su arXiv stabilisce un compromesso cruciale nei modelli progettati per sequenze lunghe. Afferma che nessun modello può raggiungere simultaneamente Efficienza (calcolo per passo indipendente dalla lunghezza della sequenza), Compattezza (dimensione dello stato indipendente dalla lunghezza della sequenza) e Richiamo (capacità di ricordare fatti storici proporzionale alla lunghezza della sequenza). Gli autori introducono un framework di Processore di Sequenze Online che integra Transformers, modelli a spazio di stato, reti ricorrenti lineari e loro combinazioni. Applicando la Disuguaglianza di Elaborazione dei Dati e la Disuguaglianza di Fano, dimostrano che qualsiasi modello che soddisfi Efficienza e Compattezza può ricordare al massimo O(poly(d)/log V) coppie chiave-valore da una sequenza di qualsiasi lunghezza, dove d rappresenta la dimensione del modello e V indica la dimensione del vocabolario. Lo studio valuta 52 architetture rilasciate prima di marzo 2026, rivelando che ciascuna può soddisfare al massimo due dei tre criteri.