Proiettabilità nella Valutazione dell'IA: Quando le Inferenze dai Benchmark Non Compongono

Un recente articolo pubblicato su arXiv (2607.26159) evidenzia una sfida epistemica centrale nella valutazione dell'IA: mentre le singole inferenze dai risultati dei benchmark possono essere giustificate, il ragionamento complessivo potrebbe non essere affidabile. Gli autori sostengono che i metodi incentrati sulla validità richiedono una prova per ogni affermazione, ma sorgono complicazioni quando l'obiettivo di uno studio differisce dal successivo o quando si verificano cambiamenti nel sistema, nella popolazione, nell'esito o nelle condizioni. Inoltre, dati condivisi o la discendenza del modello possono creare dipendenze tra supporti apparentemente indipendenti. L'articolo, facendo riferimento al problema delle estensioni rivali di Goodman e alla validità basata su argomenti, presenta l'idea di 'proiettabilità', che mette in discussione se un'estensione limitata da casi osservati a casi non osservati sia giustificata. L'affermazione chiave è che la natura non compositiva delle inferenze compromette la validità di numerose valutazioni basate su benchmark dell'IA.