lightonai/LateOn

Publié le 21 avril 2026 par lightonai, LateOn est un modèle d’embedding anglophone de 149 millions de paramètres, tous actifs. Fondé sur ModernBERT-base et entraîné avec PyLate, il produit une représentation multi-vecteur ColBERT dont chaque vecteur compte 128 dimensions. Il est distribué sous licence ouverte Apache 2.0.

LateOn transforme les textes en représentations numériques destinées à la recherche sémantique, au RAG, à la mesure de similarité et au clustering. Son entraînement contrastif supervisé avec négatifs difficiles et sa fonction MaxSim ciblent particulièrement la recherche documentaire et le reranking. L’indexation et l’interrogation des documents sont prises en charge avec PyLate et FastPLAID.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. LateOn se distingue principalement sur le retrieval généraliste. Son résultat sur BEIR le place dans la partie supérieure du classement MTEB, sur un ensemble hétérogène de tâches et de domaines évalués en zero-shot. L’architecture ColBERT conserve plusieurs vecteurs par texte et utilise MaxSim pour établir des correspondances fines entre les éléments d’une requête et ceux d’un document. Le modèle peut assurer directement l’indexation et la recherche, ou intervenir comme reranker après une première étape de sélection. Ses vecteurs de 128 dimensions limitent la taille de chaque représentation élémentaire. La licence Apache 2.0 offre en outre un cadre permissif pour l’intégration et l’auto-hébergement.

Limites et points d'attention. La langue indiquée est uniquement l’anglais, ce qui circonscrit son positionnement aux corpus et requêtes anglophones. Malgré la dimension compacte de chaque vecteur, la représentation multi-vecteur stocke plusieurs embeddings par document, avec un index potentiellement plus volumineux et une recherche plus complexe qu’avec une représentation à vecteur unique. Son orientation ColBERT et MaxSim convient davantage au retrieval et au reranking qu’à un clustering reposant sur un vecteur global unique. Usages pertinents : moteurs de recherche sémantique anglophones, pipelines RAG, index ColBERT et reranking de résultats documentaires.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).