ARTFEED — Contemporary Art Intelligence

Il Contesto di Repository Obsoleto Danneggia Attivamente il Completamento del Codice nella Generazione Aumentata da Recupero

ai-technology · 2026-05-16

I ricercatori hanno condotto uno studio diagnostico (arXiv:2605.14478) per determinare se frammenti obsoleti nella generazione di codice aumentata da recupero agiscano come rumore benigno o contribuiscano a codice incompatibile con lo stato attuale del progetto. L'analisi ha utilizzato un insieme accuratamente selezionato di 17 modifiche di firma di helper di produzione provenienti da cinque repository Python. Quando prompt neutri oscuravano la freschezza dei commit e anticipavano le firme attuali, il recupero solo obsoleto ha prodotto riferimenti obsoleti per 15 su 17 campioni con Qwen2.5-Coder-7B-Instruct e per 13 su 17 con gpt-4.1-mini, riflettendo aumenti dell'88,2% e del 76,5% rispetto al recupero solo corrente. Mentre nessun metodo di recupero ha prodotto zero riferimenti obsoleti, solo 1 su 17 completamenti ha avuto successo. I risultati indicano che il contesto obsoleto è dannoso piuttosto che innocuo, sottolineando la necessità di un recupero sensibile alla freschezza.

Fatti principali

  • Studio condotto su 17 campioni da cinque repository Python.
  • Il recupero solo obsoleto ha indotto riferimenti obsoleti in 15/17 campioni con Qwen2.5-Coder-7B-Instruct.
  • Il recupero solo obsoleto ha indotto riferimenti obsoleti in 13/17 campioni con gpt-4.1-mini.
  • Aumento percentuale rispetto al recupero solo corrente: 88,2% per Qwen, 76,5% per GPT.
  • Nessun recupero ha prodotto zero riferimenti obsoleti, ma solo 1/17 completamenti riusciti.
  • Studio pubblicato su arXiv con ID 2605.14478.
  • Disegno di studio diagnostico controllato con quattro condizioni di recupero.
  • I prompt sono stati neutralizzati per nascondere la freschezza dei commit e le firme attese.

Entità

Istituzioni

  • arXiv

Fonti