HOBA: Framework RL Gerarchico per Offerte Pubblicitarie Online Adattive

È stato introdotto un nuovo framework di apprendimento per rinforzo gerarchico chiamato HOBA (Hierarchical On-policy Bidding Agents) per superare le limitazioni dei sistemi di offerta pubblicitaria online esistenti. Questi sistemi si basano tipicamente su vari modelli esperti addestrati offline come controllori PID, controllo predittivo basato su modello e politiche RL offline, ma faticano ad adattarsi ai mercati d'asta fluttuanti e spesso richiedono costose regolazioni manuali. HOBA separa il ragionamento strategico, la selezione del modello e l'esecuzione delle offerte in tre scale temporali distinte. Al livello superiore, un grande modello linguistico deduce iperparametri dai segnali contestuali attraverso un ciclo Think-Act-Observe-Reflect che utilizza esperienze passate. Il livello intermedio impiega un agente SARSA che regola la selezione del modello per rimuovere il bias, mentre il livello basso presenta un pool dinamico di esperti, inclusi modelli PID, MPC, IQL e Decision Transformer, consentendo l'adattamento online senza input manuali.