Guardrail deterministici di completamento a coppie per l'output di LLM in streaming

Un nuovo preprint su arXiv (2608.10279) introduce un metodo affidabile per moderare gli output di modelli linguistici di grandi dimensioni in streaming. Affronta la sfida dei tempi di moderazione, dove i problemi sorgono quando il testo è già stato trasmesso. Il meccanismo di guardia proposto utilizza un design specifico che coinvolge due predicati lessicali per creare firme di pericolo. Prima di rilasciare qualsiasi output, la guardia controlla il testo accumulato e ferma il primo segmento che soddisfa entrambi i predicati. In vari test con quattro tipi di firma, otto dimensioni di chunk e 32 prove, i risultati corrispondevano a quelli di uno scanner bufferizzato, bloccando efficacemente tutti i chunk problematici mentre consentiva otto controlli a singolo predicato. Un confronto separato ha mostrato che la scansione a prefisso completo identificava tutte le coppie configurate, con una finestra di 512 caratteri che ne rilevava 96 su 128, e la scansione locale a chunk ne trovava 38 su 128. È importante notare che non sono stati osservati falsi positivi da 338 risposte sicure derivate da umani, rendendo questo approccio un'opzione solida ed economica per la moderazione dei contenuti in tempo reale negli output di LLM in streaming.