Indagine sull'integrazione dei LLM nel flusso di lavoro della revisione tra pari
Una nuova indagine di arXiv esamina come i modelli linguistici di grandi dimensioni (LLM) possano assistere o automatizzare fasi del processo di revisione tra pari, inclusa la generazione di recensioni, le controrepliche, le meta-recensioni e le revisioni dei manoscritti. L'articolo categorizza tecniche come il fine-tuning, i sistemi basati su agenti, l'apprendimento per rinforzo e i paradigmi emergenti. Copre anche metodi di valutazione—centrati sull'umano, basati su riferimenti, basati su LLM e orientati agli aspetti—e cataloga dataset e scelte di modellazione. Vengono discusse limitazioni, preoccupazioni etiche e direzioni future. L'indagine mira a fornire una guida pratica per costruire e valutare sistemi LLM lungo l'intero flusso di lavoro della revisione tra pari.
Fatti principali
- L'indagine sintetizza tecniche per la generazione di recensioni tra pari, compiti post-revisione e metodi di valutazione.
- Copre strategie di fine-tuning, sistemi basati su agenti e metodi basati su RL per la generazione di recensioni.
- I compiti post-revisione includono controrepliche, meta-recensione e revisione allineata alle recensioni.
- I metodi di valutazione spaziano da approcci centrati sull'umano, basati su riferimenti, basati su LLM e orientati agli aspetti.
- Cataloga dataset e confronta scelte di modellazione.
- Discute limitazioni, preoccupazioni etiche e direzioni future.
- Mira a fornire una guida pratica per costruire, valutare e integrare sistemi LLM.
- Pubblicato su arXiv sotto Computer Science > Computation and Language.
Entità
Istituzioni
- arXiv