StreamReason-Bench: I LLM faticano con l'elaborazione di stream basata su event-time

StreamReason-Bench è un benchmark di nuova creazione progettato per valutare la comprensione dei modelli linguistici di grandi dimensioni (LLM) della semantica dell'elaborazione di stream basata su event-time. Descritto in un articolo arXiv (2608.12348), questo benchmark sfida i modelli a simulare un processore di stream basato su event-time. Data una query a finestra insieme a un flusso di eventi fuori ordine, il modello deve identificare quali finestre si attivano (con i relativi aggregati) e quali eventi sono considerati troppo tardivi. La chiave di valutazione si basa su un'implementazione di riferimento compatta della semantica del modello Dataflow, consentendo una valutazione precisa con F1 per riga a credito parziale senza la necessità di un motore. Con 600 elementi generati che comprendono finestre a scorrimento, a salto, a sessione e a tempo di elaborazione, i risultati indicano che i modelli hanno difficoltà con il ragionamento basato su event-time. Quando interrogati direttamente, nessuno dei modelli che seguono le istruzioni raggiunge una corrispondenza esatta superiore al 34%. Tuttavia, l'uso del prompting a catena di pensiero (CoT) migliora significativamente le prestazioni di diversi modelli, con GPT-4o che mostra un miglioramento marcato. L'articolo sottolinea una carenza significativa nei LLM per i compiti di elaborazione di stream, che vengono sempre più assegnati loro nei sistemi di streaming per attività come la scrittura di pipeline, il triage degli avvisi e l'analisi dei log. Questo benchmark funge da strumento di valutazione completo per questa area applicativa in via di sviluppo.