BDH de Pathway : une nouvelle approche post-transformeur de l’IA d’entreprise, sur AWS

Les modèles de transformeur, l’architecture qui sous-tend les LLM modernes, ont révolutionné notre façon de vivre, de travailler, de créer et de nous différencier. Ils ont permis aux start-ups d’expérimenter et de lancer des idées avec des équipes réduites, et ont changé la donne dans des secteurs verticaux B2B comme le codage, l’analyse et la création de contenu. Pour les fondateurs comme pour les entreprises, les gains de productivité débloqués étaient inimaginables il y a encore quelques années.

Fondée sur les modèles de transformeur, l’IA a progressé par mise à l’échelle brute : des modèles plus grands, davantage de données et plus de calcul ont permis d’améliorer les LLM. Alors si c’est le cas, pourquoi 95 % des projets d’IA d’entreprise échouent-ils, selon une étude du MIT ? La réponse tient à l’architecture des modèles de transformeur. Ils commencent chaque tâche dans le même état, à chaque fois, et, sans mémoire, restent enfermés dans une boucle de type « jour sans fin », incapables d’apprendre du passé. Cette limite technique a des conséquences très concrètes pour les entreprises : l’infrastructure même qui a permis la croissance et renforcé les organisations devient désormais un frein à leur progression.

Une approche des modèles radicalement différente

À mesure que l’IA a évolué, les enjeux se sont accrus. Les entreprises cherchent désormais à appliquer l’IA à des cas d’utilisation et flux de travail internes exclusifs, ce qui exige des modèles capables d’apprendre et d’adapter leur comportement au fil du temps, de prendre en charge le raisonnement à horizon long et de produire des inférences observables et auditables. Les modèles de transformeur étaient autrefois synonymes de transformation métier, mais une approche radicalement différente est aujourd’hui nécessaire.

Pathway, partenaire AWS pour les modèles frontières, ouvre la voie à cette nouvelle génération d’IA avec Dragon Hatchling (BDH). Développé sur Amazon SageMaker et optimisé pour l’infrastructure AWS, BDH est un modèle frontière post-transformeur qui permet l’apprentissage continu, le contexte infini et l’adaptation en temps réel. Il répond au principal défi de l’adoption de l’IA d’entreprise : la mémoire et l’apprentissage à la volée, afin de permettre aux organisations d’accéder à de nouvelles fonctionnalités critiques et de tirer parti d’une intelligence d’entreprise personnalisée.

Les limites des modèles de transformeur en entreprise

Les modèles de transformeur restent le choix par défaut pour de nombreuses tâches et ont profondément transformé les opérations métier. Toutefois, près de dix ans après leur apparition, les transformeurs commencent à atteindre leurs limites pratiques et mathématiques en entreprise.

1. Les transformeurs n’ont pas été conçus pour permettre l’apprentissage continu. Ils sont entraînés une fois, ne peuvent pas acquérir de nouvelles compétences au fil du temps et ne peuvent pas devenir plus intelligents, car ils ne peuvent qu’accumuler du texte dans une base de données externe.
2. Les transformeurs sont extrêmement gourmands en ressources. Ils mobilisent une puissance de calcul considérable, car leur mode de traitement de l’information augmente très rapidement avec le volume de données, nécessite une mémoire très rapide pour fonctionner, et ajuste et prend en compte en permanence les paramètres du modèle.
3. Les transformeurs se heurtent à des contraintes architecturales pour fournir ce qu’exige une véritable IA native pour l’entreprise. Les entreprises reposent sur des connaissances et processus spécialisés qui doivent être internalisés et appris. Elles ont également besoin de gouvernance et d’observabilité. Les modèles actuels fondés sur les transformeurs fonctionnent comme des boîtes noires au raisonnement opaque, s’appuient sur des poids pré-entraînés et ne disposent pas de mécanismes permettant de modéliser « ce qui se passe ensuite ».

Ce que cela signifie concrètement

Les limites technologiques des transformeurs se traduisent directement par des conséquences métier concrètes, qui génèrent des coûts et une complexité supplémentaires pour les entreprises comme pour les start-ups. Au lieu d’agir comme un levier d’autonomisation, les transformeurs sont devenus une source de goulets d’étranglement, obligeant les équipes à consacrer plus de temps à gérer des solutions de contournement qu’à créer de la valeur.

• Un travail supplémentaire est nécessaire pour adapter le modèle au fonctionnement réel de l’entreprise. Aligner des modèles prêts à l’emploi sur le mode de fonctionnement d’une organisation implique souvent de gérer des charges de travail ou correctifs supplémentaires, par exemple en créant des LLM personnalisés, en redimensionnant les modèles ou en utilisant des flux de travail agentiques pour intégrer des processus.
• L’adaptation ou la contextualisation de connaissances spécialisées oblige les équipes à gérer un peaufinage approfondi et/ou des déploiements complexes de flux de travail agentiques.
• La différenciation devient un défi. Pour obtenir des résultats uniques, les équipes doivent personnaliser elles-mêmes les modèles, au risque de perdre en pertinence et en précision au fil du temps, ou utiliser les mêmes modèles prêts à l’emploi que leurs concurrents.
• Les coûts imposent des compromis délicats. Le coût élevé de l’entraînement et de l’inférence oblige les équipes à choisir avec soin où déployer l’IA, au risque de passer à côté d’opportunités.
  

BDH : l’émergence d’un nouveau paradigme d’intelligence d’entreprise

Nous avons observé l’évolution des modèles de transformeur, mais cela ne suffit plus aux entreprises qui cherchent à différencier leur offre et à créer de la valeur. Au lieu d’apporter une amélioration incrémentale à la pile de transformeur, BDH marque un changement de paradigme et ouvre une nouvelle vague d’IA d’entreprise.

Contrairement aux modèles fondés sur les transformeurs, qui utilisent des poids fixes, l’architecture de BDH s’apparente davantage à un réseau de neurones et de synapses. Les connexions sont continuellement mises à jour à mesure que de nouvelles informations arrivent, ce qui permet au modèle de conserver et d’affiner les connaissances au fil du temps au lieu de repartir de zéro à chaque tâche. Il en résulte une vision de l’intelligence d’entreprise fondée sur la mémoire, autonome et observable. Cela débloque de nouvelles capacités pour les entreprises, notamment :

1. Apprentissage continu : BDH apprend de chaque interaction et internalise cet apprentissage au fil du temps pour raisonner, développer une expertise durable et résoudre les problèmes de manière de plus en plus autonome.

Pourquoi c’est important

• BDH ne se contente pas d’ingérer et de restituer davantage d’informations. Il développe intelligence et jugement au fil du temps.
• L’expertise métier s’accumule, créant un avantage cumulatif grâce à la personnalisation.
• Il crée un ancrage en entreprise qui ne peut pas être répliqué par les données ou l’entraînement. L’IA devient irremplaçable à mesure qu’elle apprend votre activité.
• Il raisonne sur des horizons temporels longs.
• Il apprend à partir de données rares et spécialisées (par opposition à l’appétit des transformeurs pour les données).
  
  

2. Efficacité :BDH fonctionne comme un cerveau sur GPU, avec une efficacité intégrée, que le modèle soit en mode entraînement ou inférence. L’intelligence naît d’interactions locales qui se renforcent ou s’affaiblissent au fil du temps et s’activent au besoin, plutôt que toutes à la fois. Seuls 5 % des neurones s’activent par jeton, alors que les transformeurs activent l’ensemble du modèle simultanément.

En outre, BDH est un véritable modèle de raisonnement natif. En créant un espace de raisonnement interne plus vaste, appelé espace de raisonnement latent, il dispose de mécanismes de mémoire intrinsèques qui prennent en charge l’apprentissage et l’adaptation pendant l’utilisation. BDH conserve les points forts des transformeurs, en particulier la compréhension et la génération du langage, tout en ajoutant la capacité de résoudre des problèmes non linguistiques qui mettent les LLM standard en échec. Par exemple, BDH atteint 97,4 % de précision sur les benchmarks Extreme Sudoku, une collection d’environ 250 000 grilles de Sudoku parmi les plus difficiles disponibles, alors que les principaux LLM peinent à les résoudre.

Pourquoi c’est important

• Amélioration de l’efficacité d’un facteur 10, pour l’entraînement comme pour les jetons d’inférence.
• Réduction de la consommation d’énergie et de la puissance requise.
• Délai de commercialisation plus court, sans entraînement initial massif (jeux de données restreints, apprentissage au fil du temps).
• Une architecture unique qui excelle à la fois dans les tâches linguistiques et non linguistiques (p. ex., les jeux), signe d’un fort potentiel de prise de décision.
  
  

3. Niveau professionnel : avec BDH, les entreprises peuvent exécuter une IA qui comprend leur activité, s’adapte en continu et reste facile à surveiller et à expliquer. Le tout sans solutions de contournement ni correctifs supplémentaires.

Pourquoi c’est important

• Il s’agit d’une IA qui s’ancre dans le contexte de l’expérience d’une organisation.
• Les entreprises peuvent déployer avec confiance des systèmes qui continuent d’apprendre en production tout en restant auditables.
• L’IA tient compte du temps et peut donc gérer la conscience des processus, les jumeaux numériques et la meilleure action suivante.
• Gouvernance sur la façon dont un modèle évolue au fil du temps, et les raisons de cette évolution.
• Mécanismes clairs et disponibles pour suspendre, isoler ou annuler l’apprentissage lorsque cela est nécessaire.

L’« inférence persistante » débloque des fonctionnalités d’IA essentielles

Quel est votre avantage concurrentiel durable ? Lorsque le déploiement d’une IA prête à l’emploi et un entraînement ponctuel ne suffisent plus à créer un avantage concurrentiel, une approche différente s’impose. BDH est conçu pour les cas d’utilisation d’« inférence persistante » qui créent l’avantage ultime pour l’entreprise. BDH apprend en continu à partir de données exclusives, développe une expertise métier au fil du temps et génère un véritable avantage concurrentiel.

Les cas d’utilisation d’inférence persistante sont étroitement liés à la ressource la plus précieuse d’une entreprise : ses données exclusives. Ils exigent un accès constant aux informations les plus récentes et les plus immédiates pour rester précis et utiles, et reposent sur la capacité à raisonner de façon observable sur de longues périodes.

Alors, où observe-t-on ces cas d’utilisation « persistants » ? BDH répond à des cas d’utilisation d’inférence persistante sur les axes horizontaux et verticaux. Sur le plan horizontal, ils émergent dans les domaines où de nouvelles fonctionnalités sont essentielles. Sur le plan vertical, on les retrouve dans la vente au détail, l’assurance, la technologie, les services financiers et la santé, où les données et le contexte sont de véritables moteurs d’activité.

Horizontal :

BDH automatise un long processus comptable de fin de trimestre pour une entreprise mondiale multidisciplinaire en raisonnant sur plusieurs mois à travers les régions et les services métier. Au lieu de traiter la clôture financière comme un événement isolé, BDH couvre l’ensemble du trimestre : prévisions anticipées, évaluation des écarts de mi-cycle, analyse des expositions pour orienter la couverture, coordination des rapprochements et clôture d’essai propre et auditable. Cette intelligence à horizon long améliore la précision et l’anticipation au fil du temps.

Vertical : agnostique
Horizontal : gestion
Principal facteur de différenciation : raisonnement à horizon long

Vente au détail :

BDH aide une entreprise de vente au détail à maintenir ses ventes sur la trajectoire prévue en fonction de conditions dynamiques. En tenant compte de l’évolution des données internes et externes, BDH suggère les meilleures actions suivantes, comme les priorités dans le flux de travail de personnalisation des produits, les opportunités de tarification dynamique ou les domaines où une promotion personnalisée est pertinente.

Vertical : vente au détail
Horizontal : ventes
Principal facteur de différenciation : meilleure action suivante

Assurance

BDH accroît l’automatisation de la préautorisation et de la vérification ultérieure des demandes de remboursement médicales pour une société de services d’assurance, en raisonnant en temps réel sur des scénarios complexes et non balisés. Il réduit le coût par demande en automatisant une part plus importante des dossiers, tout en améliorant la précision et en fournissant une piste d’audit intégrée pour chaque décision.

Vertical : assurance
Horizontal : opérations
Principal facteur de différenciation : interopérabilité

Technologie

BDH exécute un jumeau numérique en direct du réseau de chaque client de l’entreprise pour un fournisseur de télécommunications. En ingérant en continu les données de télémétrie, de topologie et les données client en temps réel, BDH compare l’usage réel à l’usage probable et recommande des actions préventives de reconfiguration, de maintenance et de service.

Vertical : haute technologie
Horizontal : service
Principal facteur de différenciation : jumeau numérique en direct

Soins de santé

BDH prend en charge la recherche clinique complexe en intégrant en continu les antécédents des patients afin de proposer des options de traitement plus éclairées.  Contrairement aux LLM traditionnels, qui ne sont pas conçus pour apprendre à partir de jeux de données restreints et peinent face aux cas rares ou uniques, BDH peut apprendre à partir d’« exemples uniques » et les transformer en informations exploitables.

Vertical : soins de santé
Horizontal : recherche
Principal facteur de différenciation : jeux de données restreints

Services financiers

BDH mène une prospection de transactions hyperpersonnalisée en apprenant le guide opérationnel de risque exclusif et la thèse d’investissement d’une banque. En analysant en continu les données de marché en temps réel, il génère de nouvelles opportunités de transaction qui correspondent aux critères recherchés et identifie des opportunités plus rentables que les options de marché standard.

Vertical : services financiers
Horizontal : risque
Principal facteur de différenciation : apprentissage continu

Développé sur Amazon SageMaker HyperPod, optimisé pour AWS

AWS et Pathway rendent cette technologie accessible dès aujourd’hui, en apportant l’innovation de l’IA frontière aux cas d’utilisation où le contexte, la mémoire et le raisonnement à horizon long comptent le plus. BDH est développé sur Amazon SageMaker HyperPod, conçu pour l’entraînement distribué à grande échelle et pour aider les équipes à provisionner et exploiter des clusters GPU avec des flux de travail gérés.

Il est également optimisé pour l’infrastructure AWS, ce qui lui permet de fonctionner efficacement et avec des performances maximales. BDH est accessible via API aux applications et flux de travail AWS existants, et s’améliore en continu à partir des données que les organisations stockent déjà sur AWS.

Contactez Pathway (dragon@pathway.com) pour commencer à explorer et implémenter BDH. Les clients peuvent démarrer avec un investissement initial réduit grâce aux programmes de preuve de concept soutenus par AWS. Vous pouvez également consulter les recherches de Pathway sur Arxiv et ses référentiels open source sur GitHub.