Primo Studio Sistematico sulla Direzionalità delle Relazioni Inverse nei LLM

Un nuovo articolo su arXiv (2608.03512) presenta il primo studio sistematico su come i grandi modelli linguistici (LLM) gestiscono la direzionalità delle relazioni inverse, dove l'inversione dell'ordine degli argomenti cambia il significato (ad esempio, 'madre' vs. 'figlio'). Lo studio introduce un benchmark di 5.457 istanze su 27 etichette di relazioni inverse e valuta cinque LLM open-source utilizzando un framework di prompting a scelta multipla. I ricercatori testano anche l'impatto delle descrizioni delle relazioni e delle rappresentazioni delle entità sostituendo le entità originali con entità sintetiche e mascherate. I risultati rivelano asimmetrie sistematiche nella classificazione delle relazioni inverse tra i modelli e indicano che le descrizioni delle relazioni non migliorano costantemente le prestazioni. Il lavoro evidenzia una lacuna nella comprensione semantica delle relazioni direzionali da parte dei LLM, cruciale per compiti come la costruzione di grafi di conoscenza.