L'accuratezza degli strumenti LLM diminuisce prima dei limiti di contesto pubblicizzati

Una recente indagine condotta da Paulsen rivela che l'accuratezza dei modelli linguistici di grandi dimensioni (LLM) negli strumenti per sviluppatori diminuisce significativamente prima di raggiungere le dimensioni dichiarate delle finestre di contesto. Lo studio introduce la Finestra di Contesto Effettiva Massima (MECW), che è notevolmente più piccola dei limiti pubblicizzati. I repository software contemporanei spesso includono elementi sostanziali non di codice, come dataset compilati, pesi di modelli binari, bundle JavaScript minimizzati e file di log estesi, che possono superare la finestra di contesto, spingendo fuori il codice sorgente pertinente. Per affrontare questo problema, viene suggerito un framework incentrato sull'igiene del contesto consapevole della correttezza: un filtro euristico basato sulla dimensione che opera prima della tokenizzazione durante le scansioni del repository. Questo filtro si basa esclusivamente sui metadati stat() a livello di sistema operativo con un overhead minimo, eliminando la necessità di creazione di indici o inferenza al momento della query utilizzata nei metodi di recupero semantico come RepoCoder, GraphRAG e il chunking basato su AST. L'obiettivo di questo framework è migliorare la qualità della costruzione del contesto filtrando file grandi irrilevanti, mantenendo così il contesto effettivo per il codice pertinente.