ARTFEED — Contemporary Art Intelligence

TBP-mHC: Piena Espressività per Connessioni Iperboliche Vincolate da Varietà tramite Politopi di Trasporto

other · 2026-05-23

Una nuova tecnica di parametrizzazione nota come Politopo di Birkhoff per Trasporto (TBP) e la sua versione ricorsiva (RTBP) sono state introdotte per mitigare l'instabilità dell'addestramento nelle Connessioni Iperboliche (HC) all'interno delle reti residuali. Mentre HC migliora le reti residuali consentendo una miscelazione apprendibile tra vari flussi residuali, una miscelazione non vincolata porta a instabilità. Le Connessioni Iperboliche Vincolate da Varietà (mHC) impongono una doppia stocasticità approssimata tramite normalizzazione di Sinkhorn, mentre mHC-lite ottiene vincoli esatti usando combinazioni convesse di matrici di permutazione a costi fattoriali. KromHC riduce le spese con parametrizzazioni a prodotto di Kronecker ma limita le matrici di miscelazione a una sottovarietà strutturata del politopo di Birkhoff. TBP e RTBP generano matrici di miscelazione esattamente doppiamente stocastiche con (n-1)^2 gradi di libertà, eliminando la necessità di normalizzazione iterativa e di esplosioni combinatorie, mantenendo al contempo la piena espressività del politopo di Birkhoff. Evidenze empiriche da compiti linguistici supportano la loro efficacia.

Fatti principali

  • 1. Le parametrizzazioni TBP e RTBP costruiscono matrici di miscelazione esattamente doppiamente stocastiche.
  • 2. Raggiungono (n-1)^2 gradi di libertà.
  • 3. L'approccio evita la normalizzazione iterativa e l'esplosione combinatoria.
  • 4. Preserva la piena espressività del politopo di Birkhoff.
  • 5. Vengono riportati risultati empirici su compiti linguistici.
  • 6. Le Connessioni Iperboliche migliorano le reti residuali tramite miscelazione apprendibile attraverso più flussi residuali.
  • 7. La miscelazione non vincolata porta a instabilità dell'addestramento.
  • 8. mHC impone una doppia stocasticità approssimata tramite normalizzazione di Sinkhorn.
  • 9. mHC-lite garantisce vincoli esatti tramite combinazioni convesse di matrici di permutazione a costo fattoriale.
  • 10. KromHC utilizza parametrizzazioni a prodotto di Kronecker ma si limita a una sottovarietà strutturata.

Entità

—

Fonti