I MLLM superano le CNN nell'analisi video delle crisi epilettiche

Un recente studio pilota pubblicato su arXiv indaga l'efficacia dei modelli linguistici multimodali di grandi dimensioni (MLLM) nell'identificare movimenti patologici in video di crisi epilettiche senza addestramento preliminare. Analizzando 90 registrazioni cliniche insieme a 20 caratteristiche semiologiche definite dall'ILAE, i MLLM hanno superato i benchmark CNN e ViT ottimizzati su 13 delle 18 caratteristiche. Hanno mostrato buone prestazioni nel riconoscere elementi posturali e contestuali prominenti, ma hanno incontrato difficoltà con movimenti sottili e rapidi. Miglioramenti mirati a caratteristiche specifiche, come il ritaglio facciale, la stima della posa e la riduzione del rumore audio, hanno portato a risultati migliori su 10 delle 20 caratteristiche. Questa ricerca sottolinea il potenziale dei MLLM per l'analisi automatizzata della semiologia delle crisi, nonostante le sfide nel rilevare movimenti complessi.