Meta: Llama 3 8B Instruct

Publié par Meta le 18 avril 2024, Llama 3 8B Instruct est un LLM ancien à l’échelle de l’IA. Près de deux ans après sa sortie, il appartient à une génération probablement dépassée et susceptible de ne plus figurer au catalogue courant de son éditeur.

Son principal argument actuel reste son positionnement très économique, avec une tarification inférieure de 93% à la moyenne des LLM similaires et environ 39,3 fois moins élevée que celle des modèles frontière. Sa fenêtre de contexte atteint 8 192 tokens, tandis que ses connaissances s’arrêtent au 31 décembre 2023.

Caractéristiques

Notre analyse

Forces. Llama 3 8B Instruct obtient son résultat le plus convaincant en Email Classification, avec un score brut élevé. Les évaluations General Knowledge, Ethics et Hallucinations affichent également des scores bruts solides, même si leurs classements relatifs restent modestes. Son avantage le plus net réside dans son coût homogène de 0,14 $ par million de tokens en entrée comme en sortie. Ce niveau tarifaire en fait un modèle particulièrement économique parmi les LLM similaires, selon trois sources de données concordantes.

Limites et points d'attention. Les rangs Benchable placent le modèle dans la partie basse des classements sur l’ensemble des évaluations disponibles. Instruction Following constitue une faiblesse marquée, avec seulement 33%, tandis que Mathematics descend à 25% et figure également près du bas du tableau. Même ses meilleurs scores bruts ne se traduisent pas par un bon positionnement comparatif. Sa fenêtre de 8 192 tokens et sa limite de connaissances fixée à fin 2023 renforcent son vieillissement. Près de deux ans après sa sortie, ses performances sont probablement largement dépassées par celles de générations plus récentes, et un modèle de cette ancienneté est souvent retiré du catalogue de son éditeur.

Sources des données : OpenRouter (openrouter.ai) · LLM-Stats (llm-stats.com).