TeXFix-Bench: Benchmark per la Riparazione di Sorgenti Documentali Basata su LLM

I ricercatori hanno introdotto TeXFix-Bench, un benchmark multi-formato progettato per valutare i modelli linguistici di grandi dimensioni (LLM) nel compito di riparare codice sorgente documentale difettoso. Il benchmark si basa su una tassonomia dei guasti estratta empiricamente, affrontando i limiti delle valutazioni precedenti che utilizzavano iniezioni di guasti ad hoc. Lo studio, disponibile su arXiv (2608.07617), ha coinvolto un'analisi Grounded-Theory di 168 guasti LaTeX hard-crash verificati, provenienti da TeX Stack Exchange, commit GitHub e documentazione di pacchetti. Attraverso una doppia codifica aperta con un kappa di 0,34, i ricercatori hanno sviluppato una tassonomia a 18 categorie, istanziata come DocMut, un insieme di 48 operatori di mutazione AST-aware applicabili a tre formati: LaTeX, Typst e Markdown. In test incrociati con tre modelli, i guasti DocMut si sono rivelati più difficili da riparare del 5,6-9,2 punti percentuali rispetto alle mutazioni basate su pattern sugli stessi semi. Uno studio di caso con errori reali, che ha coinvolto 88 crash umani estratti, ha raggiunto un tasso di successo di riparazione del 67,0%, collocandosi tra le prestazioni dei guasti sintetici. Questo lavoro fornisce un benchmark più realistico e impegnativo per la riparazione documentale basata su LLM, con implicazioni per migliorare l'affidabilità degli strumenti di scrittura scientifica e tecnica.