La riparazione guidata dal reasoner supera i suggerimenti correttivi per l'eccessiva cautela degli LLM sulle negazioni OWL~2~DL

Un nuovo studio su arXiv (2604.23398) evidenzia un errore ricorrente in GPT-5.4 relativo a query di conformità OWL~2~DL. Il modello risponde spesso "sconosciuto" quando la risposta corretta, secondo il reasoner, è "no", specialmente in situazioni che coinvolgono la chiusura FunctionalProperty o la disgiunzione di classi. I ricercatori hanno esaminato 180 query validate da un reasoner e 18 query create da contesti assicurativi e clinici, confrontando quattro strategie di interazione all'interno di un budget di query corrispondente: singolo tentativo, tre tentativi generici, tre round con un suggerimento del reasoner e tre round senza suggerimento. I risultati hanno mostrato un'accuratezza diretta del 43,9%, tentativi generici all'81,7%, strategia con suggerimento al 67,2% e approccio solo verdetto al 97,8%. Tutti i confronti sono risultati significativi, suggerendo che i suggerimenti potrebbero ridurre le prestazioni, mentre le riparazioni senza suggerimenti sono molto efficaci.