La piattaforma LLARS collega esperti di dominio e sviluppatori per sistemi LLM

LLARS (LLM Assisted Research System) è un'iniziativa open-source volta a migliorare la collaborazione tra esperti in campi specifici e sviluppatori per la creazione di sistemi basati su LLM. Si compone di tre componenti chiave: Collaborative Prompt Engineering, che consente la co-autorialità simultanea con controllo delle versioni e test immediato del LLM; Batch Generation, che permette la creazione di output personalizzabili basati su prompt, modelli e dati definiti dall'utente, gestendo i costi; e Hybrid Evaluation, in cui valutatori umani e LLM analizzano gli output utilizzando varie tecniche, offrendo metriche di accordo in tempo reale e approfondimenti sulla provenienza per individuare le migliori combinazioni modello-prompt. I prompt e i modelli appena creati sono immediatamente accessibili per la generazione batch, e i batch completati possono essere facilmente trasformati in scenari di valutazione con un solo clic. L'efficacia della piattaforma è stata confermata attraverso discussioni con sei esperti di dominio e tre sviluppatori nel campo della consulenza online.