GROVE, lo strumento di visualizzazione che rivela la struttura distributiva nascosta negli output dei modelli linguistici

GROVE, un nuovo strumento di visualizzazione interattivo, affronta le sfide della valutazione dei modelli linguistici basata esclusivamente su output individuali. Creato a seguito di uno studio formativo con 13 ricercatori che utilizzano modelli linguistici, GROVE illustra molteplici generazioni come percorsi intersecanti all'interno di un grafo testuale. Questo metodo rivela strutture distributive, inclusi modi, casi limite rari e sensibilità a piccole alterazioni del prompt che solitamente rimangono oscurate quando gli utenti interagiscono con completamenti singoli. Lo strumento è stato valutato in tre studi crowdsourced con 47, 44 e 40 partecipanti mirati all'analisi distributiva complementare. Il documento di ricerca è stato pubblicato su arXiv con identificatore 2604.18724v1. I flussi di lavoro attuali spesso falliscono poiché gli utenti tendono a sovrageneralizzare da aneddoti durante il perfezionamento dei prompt per compiti aperti. GROVE mantiene l'accesso agli output grezzi evidenziando strutture condivise, punti di diramazione e cluster negli output dei modelli linguistici.