Un LLM multimodale ricostruisce le curve di risposta agli item per la valutazione educativa
Uno studio recente pubblicato su arXiv (ID 2608.10154) introduce una tecnica per ricostruire le curve di risposta agli item del modello logistico a tre parametri (3PL) e del modello a scelta multipla (MCM) attraverso un grande modello linguistico multimodale (LLM) finemente ottimizzato basato su Qwen3.5. Questo modello è addestrato per emulare le probabilità di scelta da un ampio dataset di domande a scelta multipla che incorporano sia testo che immagini, tenendo conto dei livelli di abilità degli studenti etichettati. Comprendendo e replicando i modelli di errore sistematici degli studenti attraverso vari livelli di abilità, l'LLM cattura efficacemente le probabilità di risposta inerenti alle curve 3PL e MCM. Ciò consente una stima precisa della difficoltà degli item dalle probabilità delle opzioni previste dal modello su un set di test separato. L'articolo rientra in Informatica > Calcolo e Linguaggio e include la cronologia delle sottomissioni, i riferimenti e gli strumenti di citazione, evidenziando l'uso innovativo degli LLM in psicometria e misurazione educativa per la stima dei parametri degli item senza fare affidamento su metodi statistici convenzionali.
Fatti principali
- L'articolo è intitolato 'Stima dei parametri degli item multimodali utilizzando probabilità di risposta simulate'.
- È disponibile su arXiv con ID 2608.10154.
- La ricerca utilizza un LLM multimodale finemente ottimizzato basato su Qwen3.5.
- Il modello replica le probabilità di scelta per item a scelta multipla con stimoli visivi e testuali.
- È condizionato sui livelli di abilità degli studenti etichettati.
- L'LLM cattura le probabilità di risposta sottostanti dalle curve 3PL e MCM.
- La difficoltà degli item è approssimata su un set di test escluso.
- L'articolo è categorizzato sotto Informatica > Calcolo e Linguaggio.
Entità
Istituzioni
- arXiv