ARTFEED — Contemporary Art Intelligence

Famiglia Ettin Reranker: Rilasciati Sei Nuovi Modelli Cross-Encoder all'Avanguardia

ai-technology · 2026-05-19

Una nuova famiglia di sei riordinatori CrossEncoder di Sentence Transformers, la Famiglia Ettin Reranker, è stata rilasciata, raggiungendo prestazioni all'avanguardia per le rispettive dimensioni. Costruiti sugli encoder Ettin ModernBERT della Johns Hopkins University, i modelli vanno da 17 milioni a 1 miliardo di parametri. Sono stati addestrati utilizzando una ricetta di distillazione MSE pointwise dal modello insegnante mixedbread-ai/mxbai-rerank-large-v2 su un dataset di circa 143 milioni di triple (query, documento, punteggio_insegnante), rilasciato come cross-encoder/ettin-reranker-v1-data. La ricetta di addestramento è stata avviata utilizzando la nuova abilità train-sentence-transformers Agent Skill in Sentence Transformers v5.5.0. Tutti i modelli supportano fino a 8K token di contesto e sono rilasciati sotto licenza Apache 2.0. I risultati di benchmark su MTEB(eng, v2) Retrieval mostrano che il modello da 17M supera il 33M ms-marco-MiniLM-L12-v2 di +0.051 NDCG@10, e il modello da 1B eguaglia il suo insegnante entro 0.0001 NDCG@10 pur essendo 2,4 volte più veloce. Il modello da 150M è il più forte sotto i 600M parametri, superando di poco Qwen/Qwen3-Reranker-0.6B. I benchmark di velocità su un H100 mostrano che il modello da 17M raggiunge 7517 coppie al secondo, il più veloce nel confronto. L'architettura modulare Transformer consente input senza padding per Flash Attention 2, ottenendo un'accelerazione fino a 8,3x rispetto a fp32+SDPA. Lo script di addestramento è di circa 150 righe e utilizza un singolo dataset pubblicato. I modelli sono disponibili su Hugging Face Hub sotto il namespace cross-encoder.

Fatti principali

  • Rilasciati sei nuovi riordinatori CrossEncoder: 17M, 32M, 68M, 150M, 400M, 1B parametri.
  • Costruiti sugli encoder Ettin ModernBERT della Johns Hopkins University.
  • Addestrati tramite distillazione MSE pointwise da mixedbread-ai/mxbai-rerank-large-v2.
  • Dataset di addestramento: ~143M triple, rilasciato come cross-encoder/ettin-reranker-v1-data.
  • Tutti i modelli supportano fino a 8192 token di contesto.
  • Rilasciati sotto licenza Apache 2.0.
  • Il modello da 17M supera ms-marco-MiniLM-L12-v2 di +0.051 NDCG@10 su MTEB.
  • Il modello da 1B eguaglia l'insegnante entro 0.0001 NDCG@10, 2,4x più veloce.
  • Il modello da 150M è il più forte sotto i 600M parametri su MTEB.
  • Il modello da 17M raggiunge 7517 coppie al secondo su H100, il più veloce nel confronto.
  • Transformer modulare consente input senza padding per Flash Attention 2.
  • Accelerazione fino a 8,3x rispetto a fp32+SDPA con bf16+FA2 e unpadding.
  • Ricetta di addestramento avviata con train-sentence-transformers Agent Skill v5.5.0.
  • Script di addestramento ~150 righe, ricetta singola per tutte le dimensioni.

Entità

Istituzioni

  • Johns Hopkins University
  • Hugging Face
  • Mixedbread AI
  • LightOn
  • Alibaba
  • IBM
  • BAAI
  • Qwen
  • Sentence Transformers
  • MTEB
  • NanoBEIR
  • NVIDIA
  • H100
  • RTX 3090

Fonti