Modello frontier riduce i costi LLM indirizzando l'80% dei fallimenti a un agente economico
Mendral ha ridotto i costi LLM utilizzando una gerarchia di modelli: un agente Haiku economico tria i fallimenti CI, indirizzando solo il 20% a Opus costoso. Haiku rileva duplicati tramite ricerca esatta e semantica, costando 25 volte meno di un'indagine completa. Opus pianifica le indagini e genera sotto-agenti Haiku per compiti mirati, senza mai leggere log grezzi. Il sistema usa un'interfaccia SQL per ClickHouse per l'accesso ai log, evitando il gonfiaggio dei prompt. Un caso studio mostra Opus diagnosticare un fallimento di pnpm install (mancanza di 'make') interrogando dati di tendenza e cronologia git tramite sotto-agenti. Haiku gestisce il 65% dei token ma solo il 36% della spesa; senza gerarchia, la bolletta giornaliera raddoppia. Il modello si applica a flussi di eventi ad alto volume come log di sicurezza o telemetria IoT.
Fatti principali
- Opus 4.6 costa meno di Sonnet 4.0 grazie alla gerarchia di modelli
- L'80% dei fallimenti CI non raggiunge Opus; il costo del triager match è 25 volte inferiore
- L'agente Haiku usa corrispondenza esatta e ricerca semantica (pgvector) per il rilevamento di duplicati
- Gli agenti accedono ai log tramite interfaccia SQL per ClickHouse, non prompt spinti
- Opus genera sotto-agenti Haiku per approfondimenti; i sotto-agenti sono limitati a un livello di profondità
- Caso studio: Opus ha diagnosticato 'gyp ERR! not found: make' tramite sotto-agenti che interrogavano git log e ClickHouse
- Haiku gestisce circa il 65% dei token in input ma circa il 36% della spesa LLM
- Il modello si generalizza a log di sicurezza, telemetria IoT, dati finanziari
Entità
Istituzioni
- Mendral
- Hacker News
- ClickHouse
- GitHub CLI