Pipeline modulare per la generazione di analogie educative con LLM
È stata creata una nuova pipeline modulare progettata per generare analogie educative, suddividendo il processo in quattro fasi distinte: ricerca delle fonti, generazione di sotto-concetti, creazione di spiegazioni e conduzione di valutazioni. Basata sulla Structure Mapping Theory, questa pipeline consente un esame dettagliato di come la selezione del modello e le configurazioni di input influenzino la qualità delle analogie. Sono stati testati dodici LLM avanzati provenienti da sei diverse famiglie di modelli, utilizzando due dataset con annotazioni strutturate di sotto-concetti (SCAR e ParallelPARC), insieme a sette modelli di embedding per il recupero in contesto chiuso. I risultati indicano che, mentre i sotto-concetti migliorano significativamente la qualità delle spiegazioni e la precisione in contesti chiusi, i loro vantaggi sono limitati in contesti aperti.
Fatti principali
- La pipeline ha quattro fasi: ricerca delle fonti, generazione di sotto-concetti, generazione di spiegazioni, valutazione
- Fondata sulla Structure Mapping Theory
- Valutati 12 LLM all'avanguardia in sei famiglie di modelli
- Utilizzati due dataset: SCAR e ParallelPARC
- Valutati anche sette modelli di embedding per il recupero in contesto chiuso
- I sotto-concetti migliorano la qualità delle spiegazioni e la precisione del recupero in contesto chiuso
- I sotto-concetti offrono benefici limitati in contesti aperti
- Pubblicato su arXiv con ID 2605.24211
Entità
Istituzioni
- arXiv