RETUYT-INCO Utilizza Meta-Prompting per la Valutazione di Risposte Brevi in Tedesco al BEA 2026
Il team RETUYT-INCO ha partecipato al task condiviso BEA 2026 sulla valutazione di risposte brevi in tedesco basata su rubriche, competendo nei track 1, 3 e 4. Hanno sviluppato un metodo di meta-prompting in cui un LLM genera un prompt personalizzato a partire da esempi di addestramento per valutare nuove risposte. Altri approcci includevano machine learning classico, fine-tuning di LLM open-source e varie tecniche di prompting. I risultati ufficiali li hanno posizionati al 6° posto su 8 nel Track 1 (QWK 0,729), al 4° posto su 9 nel Track 3 (QWK 0,674), e si sono classificati anche nel Track 4.
Fatti principali
- RETUYT-INCO ha partecipato al task condiviso BEA 2026
- Il task riguardava la valutazione di risposte brevi in tedesco basata su rubriche
- Il team ha gareggiato nei Track 1 (risposte non viste a tre vie), Track 3 (risposte non viste a due vie) e Track 4 (domande non viste a due vie)
- Ha sviluppato un metodo di meta-prompting utilizzando un LLM per generare prompt personalizzati
- Ha anche utilizzato machine learning classico, fine-tuning di LLM open-source e tecniche di prompting
- Si è classificato 6° su 8 nel Track 1 con QWK 0,729
- Si è classificato 4° su 9 nel Track 3 con QWK 0,674
- Articolo pubblicato su arXiv con ID 2605.11242
Entità
Istituzioni
- RETUYT-INCO
- BEA 2026