Khan Academy's Khanmigo: Metriche di qualità del tutoraggio AI ed esperimenti

Khan Academy, pioniera nel tutoraggio AI per l'istruzione K-12, ha lanciato Khanmigo nel 2023, un tutor AI che sfrutta i modelli linguistici di grandi dimensioni (LLM). L'organizzazione ha sviluppato un quadro completo per valutare e migliorare la qualità del tutoraggio AI, enfatizzando una valutazione robusta e la sperimentazione dal vivo a causa della natura opaca degli LLM. Descrivono le metriche utilizzate per misurare la qualità del tutoraggio AI e il coinvolgimento degli studenti, insieme a vari esperimenti condotti. I miglioramenti chiave che hanno influenzato positivamente le loro metriche includono cambiamenti nei modelli, nel prompting, nella personalizzazione e nell'uso di agenti. Il lavoro è dettagliato in un articolo intitolato 'Methodologies for Improving the Quality of AI Tutoring in K-12 Education', disponibile su arXiv nella categoria Computer Science > Computers and Society. L'articolo delinea le sfide del lavorare con LLM a scatola nera e la necessità di misurazione e iterazione continue. L'approccio di Khan Academy prevede il monitoraggio di metriche specifiche per valutare l'efficacia delle interazioni di tutoraggio e il coinvolgimento degli studenti, e hanno condotto esperimenti per testare diverse strategie. I risultati evidenziano l'importanza della selezione del modello, dell'ingegneria dei prompt, dei percorsi di apprendimento personalizzati e delle interazioni basate su agenti nel migliorare l'esperienza di tutoraggio AI. Questa ricerca contribuisce al campo più ampio dell'AI nell'istruzione, offrendo spunti per sviluppatori ed educatori che mirano a implementare tutor AI in contesti K-12.