Il benchmark LitVISTA valuta l'orchestrazione narrativa nei LLM

I ricercatori hanno introdotto LitVISTA, un benchmark strutturalmente annotato per valutare l'orchestrazione narrativa nei modelli linguistici di grandi dimensioni. Il benchmark si basa sul framework VISTA Space, che unifica le prospettive umane e dei modelli sulla funzione e struttura narrativa. LitVISTA operazionalizza questo framework per valutare quanto bene i modelli catturano ritmo, tensione e dinamiche emotive nei testi letterari, affrontando un disallineamento strutturale in cui gli attuali LLM si concentrano eccessivamente sulla coerenza causale. In un contesto oracle con ancore di eventi gold, sono stati valutati i LLM all'avanguardia. Il lavoro è pubblicato su arXiv.