Gli ingegneri di Meta descrivono il sistema che converte la capacità di inferenza inutilizzata in migliori raccomandazioni pubblicitarie

Meta ha presentato un sistema progettato per ottimizzare la capacità di inferenza inutilizzata in tutta la sua rete, migliorando così le raccomandazioni pubblicitarie senza bisogno di risorse extra. Questa iniziativa affronta il "paradosso della capacità di inferenza", in cui esistono limitazioni globali insieme a surplus locali a causa di discrepanze nel provisioning, nella domanda e nelle risorse disponibili. L'azienda utilizza due strategie di elasticità: Rank More Ads (RMA), che aumenta le valutazioni dei candidati sfruttando l'eccesso di CPU e acceleratori, e Serve Better Models (SBM), che indirizza le richieste verso modelli superiori utilizzando solo il surplus di acceleratori. Sia RMA che SBM sono protetti da isolamento fisico e logico. Un controller centrale supervisiona il volume dei candidati e la copertura degli obiettivi, mentre il load shedding si adatta ai cambiamenti di capacità. Meta prevede di perfezionare queste strategie e automatizzare l'allocazione della capacità di inferenza.