Il troncamento consapevole dei distrattori sfida l'assunzione del contesto più breve nei benchmark LLM

Un nuovo studio pubblicato su arXiv (2608.03297) mette in discussione l'idea comune che contesti più brevi migliorino l'efficacia dei modelli linguistici con recupero aumentato e memoria, purché le informazioni chiave siano mantenute. I ricercatori hanno esaminato i dati di due grandi benchmark di contesto, BABILong e GraphWalks (BFS), testando quattro livelli di ritenzione del contesto (100%, 75%, 50%, 25%) con due tecniche di troncamento. Una tecnica, il troncamento ingenuo, taglia dal centro del prompt, mentre l'altra, il troncamento consapevole dei distrattori, mantiene il contenuto rilevante. L'analisi ha incluso tre modelli Claude (Haiku 4.5, Sonnet 4.6, Opus 4.7) e GPT-5.5. I risultati hanno mostrato un calo significativo dei punteggi con il troncamento ingenuo, suggerendo che i presunti benefici dei contesti più brevi potrebbero essere in realtà dovuti alla perdita di informazioni essenziali. Questo studio fornisce un quadro più chiaro per valutare gli effetti della lunghezza del contesto nei LLM a contesto lungo.