La complementarità uomo-AI mostra modesti miglioramenti in diversi compiti

Uno studio recente pubblicato su arXiv esplora il potenziale della collaborazione uomo-AI per migliorare le prestazioni in scenari realistici. I ricercatori hanno utilizzato un dataset diversificato composto da 1.886 campioni che esaminavano conoscenza, accuratezza fattuale, ragionamento su contesti lunghi e rilevamento di inganni. Hanno valutato l'ibridazione insieme a due strategie di supporto AI: assistenza top-2 e delega di sottocompiti. L'ibridazione di base ha prodotto solo un miglioramento marginale di +0,4 punti percentuali rispetto alla sola AI (69,3% contro 68,9%). Questo successo limitato deriva da una ristretta regione di complementarità (8,9% dei casi in cui l'AI fallisce ma gli umani hanno successo) e dall'inefficacia del routing basato sulla confidenza, poiché i livelli di confidenza del modello sono distribuiti in modo simile tra previsioni accurate e inaccurate. Questi risultati indicano che stabilire una complementarità uomo-AI efficace è ancora una sfida significativa.