Corpus Human-in-the-Loop per la Semplificazione di Riassunti Scientifici tramite LLM
Un team di ricercatori ha creato un processo human-in-the-loop per migliorare la chiarezza dei riassunti scientifici attraverso modelli linguistici di grandi dimensioni (LLM), affrontando il problema della comprensione tra diverse discipline. Utilizzando SciSummNet come dataset di base e GPT-4o-mini per le semplificazioni iniziali, lo studio si svolge in due fasi. Nella Fase 1, lettori STEM provenienti da settori diversi dall'informatica individuano frasi complesse e valutano sia i riassunti originali che quelli semplificati da GPT per chiarezza, naturalezza e semplicità. La Fase 2 vede specialisti in informatica creare semplificazioni di riferimento curate da esperti sulla base di questo feedback. Il corpus finale comprende valutazioni umane e risultati di valutazione automatica, con la Fase 1 che mostra una forte preferenza per i riassunti generati da GPT in termini di chiarezza, con l'obiettivo finale di migliorare l'accessibilità per i non specialisti e favorire la ricerca interdisciplinare.
Fatti principali
- 1. Lo studio presenta un flusso di lavoro human-in-the-loop per la semplificazione basata su LLM di testi scientifici.
- 2. SciSummNet viene utilizzato come corpus di partenza.
- 3. GPT-4o-mini genera semplificazioni di base.
- 4. La Fase 1 coinvolge lettori provenienti da settori STEM al di fuori dell'informatica.
- 5. I lettori confrontano i riassunti originali e quelli semplificati da GPT in termini di comprensibilità, naturalezza e semplicità.
- 6. La Fase 2 coinvolge esperti di informatica che creano semplificazioni di riferimento curate da esperti.
- 7. Il corpus include giudizi umani e risultati di valutazione automatica.
- 8. I giudizi della Fase 1 mostrano una preferenza per i riassunti generati da GPT in termini di comprensibilità.
Entità
Istituzioni
- SciSummNet