SOB: Benchmark multi-fonte per output strutturato nei LLM

Il Structured Output Benchmark (SOB) è stato lanciato da ricercatori per valutare l'efficacia della generazione di output strutturati nei modelli linguistici di grandi dimensioni. Questo benchmark incorpora tre diverse modalità di fonte: testo, immagini e conversazioni audio. A ciascun modello viene fornita una rappresentazione del contesto normalizzata in testo, che separa la valutazione delle capacità di output strutturato dalla qualità dell'elaborazione visiva o vocale. SOB include 5.000 voci di valutazione testuale basate su QA multi-hop da un corpus completo di 25.091 record, insieme a 209 voci di immagini provenienti da PDF elaborati con OCR e ulteriori voci audio. Questa iniziativa mira a superare le carenze degli attuali benchmark che si concentrano solo sulla conformità dello schema o sulla correttezza all'interno di un singolo dominio.