Le descrizioni degli schemi LLM possono sovrascrivere i prompt, secondo uno studio

Uno studio recente pubblicato su arXiv (2608.08254) esplora l'impatto delle descrizioni degli schemi di output strutturato sulle prestazioni dei modelli linguistici di grandi dimensioni (LLM) in compiti di classificazione. L'indagine ha coinvolto dieci diverse configurazioni di modelli di due fornitori, esaminando se il posizionamento delle definizioni delle etichette di classificazione nel prompt di sistema, nel prompt utente o nella descrizione dello schema produca risultati migliori. I risultati rivelano che le descrizioni degli schemi non superano costantemente i prompt; in particolare, per GPT-4.1 e GPT-5.4 senza ragionamento, il posizionamento dello schema è rimasto indietro rispetto ai prompt di sistema di 11-13 punti percentuali. Inoltre, quando prompt e schemi erano in conflitto, l'accuratezza ne risentiva significativamente, con cali di 5-45 punti. In particolare, Claude Haiku 4.5 è crollato dal 52,5% al 7%, mentre GPT-5.5 è sceso dal 100% al 73%, indicando che le istruzioni dello schema possono sovrascrivere quelle nei prompt. Questo studio sottolinea l'importanza dell'output strutturato nella progettazione dei sistemi di IA, soprattutto dove rappresenta l'approccio standard per l'etichettatura dei dati e l'estrazione di informazioni.