Il solo prompting LLM è insufficiente per rilevare il processo decisionale condiviso negli incontri pediatrici

Una recente indagine pubblicata su arXiv (2608.14792) esamina l'efficacia del prompting zero-shot in un grande modello linguistico (LLM) per identificare i comportamenti di processo decisionale condiviso (SDM) durante interazioni cliniche pediatriche reali. Questo studio ha analizzato 21 discussioni chirurgiche ambulatoriali registrate audio, coinvolgendo 19 pazienti distinti e 7.566 segmenti di enunciati, per un totale di circa 6,1 ore. Ha confrontato il LLM locale zero-shot (Qwen 2.5 32B) con un classificatore supervisionato che utilizza embedding di frasi congelati e uno stack logistico. I codificatori hanno identificato 12 comportamenti SDM, raggiungendo un kappa di Cohen macro umano-umano di 0,695. Il LLM zero-shot ha registrato un kappa macro di 0,139 (IC 95% 0,111-0,164), mentre il classificatore supervisionato ha ottenuto risultati migliori (cifra esatta non specificata). Questi risultati indicano che il solo prompting è inadeguato per un rilevamento efficace dell'SDM, sottolineando l'importanza di una valutazione robusta e del controllo delle perdite nell'analisi della comunicazione clinica.