OVHcloud lance Olala mini 7A1B, son premier LLM
« Le savoir-faire dans l’entraînement de modèles s’est largement démocratisé et le coût d’un entraînement a été divisé par 20 en 3 ans. Désormais, il est possible de créer les modèles LLM tout en rendant cette activité rentable. » Voici, selon le patron-fondateur de OVHcloud, une des raisons du lancement de Olala.
Dans cette famille de grands modèles de langage (LLM), le premier rejeton a été baptisé Olala mini 7A1B. Selon OVHcloud, il est conçu pour fonctionner avec une empreinte de calcul et de mémoire réduite, y compris sur des équipements ne disposant pas nécessairement d’un GPU dédié.
Olala mini 7A1B repose sur une architecture de 7 milliards de paramètres, dont 1 milliard activés à chaque requête. Ces paramètres sont répartis entre 256 experts par couche, selon une approche de type Mixture-of-Experts : seule une fraction du modèle est sollicitée lors du traitement.
Le modèle intègre également une attention hybride combinant Differential-TPA et Mamba-3. Selon OVHcloud, cette conception permet de réduire la consommation de mémoire et d’accélérer l’inférence. Le modèle est annoncé au format BF16, avec une fenêtre de contexte de 32 000 tokens.
OVHcloud indique qu’Olala mini peut fonctionner sur un GPU doté d’au moins 8 Go de mémoire. Sur une NVIDIA RTX A4500, l’entreprise annonce un débit de 160 tokens par seconde. Sur un simple processeur, sans GPU, elle annonce 50 tokens par seconde.
Cependant, aucun résultat de benchmark indépendant n’est présenté à ce stade.
Olala mini a été entraîné sur trois supercalculateurs publics européens : Jupiter, MeluXina et Jean Zay, équipés de GPU GH200, A100 et H100. OVHcloud estime que ce soutien représente l’équivalent de 7 millions € en heures de calcul.
L’entreprise présente cette initiative comme ayant permis la constitution de son équipe IA et la création du Lab Agentique d’OVH : OVHai LLM.
Une publication sous licence Apache 2.0
Olala mini doit être publié sur Hugging Face sous licence Apache 2.0. OVHcloud prévoit de mettre à disposition les poids du modèle, son modèle de base pré-entraîné, un rapport technique ainsi qu’une documentation de conformité à l’AI Act.
Le moteur de recherche Qwant indique déjà l’utiliser pour sa fonctionnalité de réponse flash.
Une version 1.1 est attendue d’ici la fin de l’année. Elle devrait porter la fenêtre de contexte à 128 000 tokens et améliorer les performances du modèle en raisonnement mathématique.
À plus long terme, la version 2.0 devrait dépasser 100 milliards de paramètres. OVHcloud prévoit des déclinaisons spécialisées pour l’agentique en entreprise, le DevOps cloud et la cybersécurité, dans ses volets défensif comme offensif.
Illustration : © OVHcloud
The post OVHcloud lance Olala mini 7A1B, son premier LLM appeared first on Silicon.fr.















