Publié par castorini le 28 mars 2022, castorini/monot5-3b-msmarco-10k est un cross-encoder de 3 milliards de paramètres actifs. Ce reranker repose sur T5-3B, une architecture séquence-à-séquence préentraînée, puis affinée pendant 10 000 étapes, soit une époque, sur MS MARCO Passage.

Publié par castorini le 28 mars 2022, castorini/monot5-base-msmarco-10k est un cross-encoder de 297 millions de paramètres, tous actifs. Ce reranker fondé sur T5-base a été affiné pendant 10 000 étapes, soit une époque, sur les passages de MS MARCO.