Pathway の BDH: AWS で実現する、エンタープライズ AI に対するポストトランスフォーマー型新アプローチ

現代の LLM を支えるアーキテクチャであるトランスフォーマーモデルは、私たちの暮らし方、働き方、創り方、そして競争の仕方そのものを一変させました。スタートアップが小人数のチームでアイデアを試し素早く形にすることを可能にし、コーディング、分析、コンテンツ生成といった B2B 領域ではまさにゲームチェンジャーとなっています。創業者にとっても企業にとっても、数年前には想像もできなかった生産性の向上を実現しています。

トランスフォーマーベースの AI は、ブルートフォース的なスケーリングによって進化してきました。つまり、より大きなモデル、より多くのデータ、より多くのコンピューティングを投入することで、LLM は改善されてきたのです。それなのに、 MIT の調査で、エンタープライズ AI プロジェクトの 95% が失敗しているのはなぜでしょうか？その答えは、トランスフォーマーモデルのアーキテクチャにあります。これらのモデルは毎回同じ初期状態からすべてのタスクを開始し、記憶を持たないため、過去から学べず同じことが繰り返されるループに陥ってしまうのです。この技術的な制限は、実際のビジネス上の影響へとつながり、成長を支え、組織に力を与えてきたインフラストラクチャが、今ではさらなる進歩への障害となっているのです。

モデルに対する抜本的に新しいアプローチ

AI の進化にともない、AI に求められる要件も飛躍的に高まっています。企業は現在、独自の社内ユースケースやワークフローに AI を適用しようとしており、そのためには、時間の経過とともに行動を学習して適応し、長期的な推論を行い、かつ観察可能で監査可能な推論を生成できるモデルが必要です。トランスフォーマーモデルはかつてビジネスの変革をもたらしましたが、現在ではそれを超えるまったく異なるアプローチが求められています。

AWSのフロンティアモデルパートナーであるPathwayは、ドラゴンハッチリング (BDH) と共にこの次世代 AI を開拓しています。Amazon SageMaker で開発され、AWS インフラストラクチャ向けに最適化された BDH は、継続学習、無限コンテキスト、リアルタイムの適応を可能にするポストトランスフォーマー型フロンティアモデルです。エンタープライズ AI 導入の中核的な課題であるメモリと オンザフライでの学習を解決し、組織が重要な新機能を引き出し、パーソナライズされたエンタープライズインテリジェンスを最大限に活用できるようにします。

企業におけるトランスフォーマーの限界

トランスフォーマーモデルは、多くのタスクで今なおデフォルトの選択肢であり、事業運営を根本的に変えてきました。しかし、登場から約 10 年が立ち、トランスフォーマーはエンタープライズ用途では実用的および数学的な限界に差しかかりつつあります。

1. トランスフォーマーは継続学習を実現するようには設計されていません。一度トレーニングすると、その後に新しいスキルを習得することも、時間の経過とともに賢くなることもできません。というのも、外部データベースにテキストを蓄積することしかできないからです。
2. トランスフォーマーは非常に多くのリソースを消費します。データが増えるにつれて情報の処理量が急激に増大し、実行には非常に高速メモリを必要とし、さらにモデルのパラメータを常に調整して扱い続けるため、莫大な計算能力を要するのです。
3. トランスフォーマーは、真のエンタープライズネイティブ AI に必要とされる能力を実現するにあたり、アーキテクチャ上の制約に直面しています。企業には、内部化して学習すべき専門知識とプロセスが存在します。また、ガバナンスとオブザーバビリティも求められます。今日のトランスフォーマーベースのモデルは、推論過程が見えないブラックボックスとして機能し、事前にトレーニングされた重みに依存し、「次に何が起こるか」をモデル化するメカニズムが欠けています。

実際には何を意味するかというと

トランスフォーマーの技術的限界は、実際のビジネス課題に直結し、企業やスタートアップに追加のコストと複雑さをもたらしています。トランスフォーマーは能力向上を支えるツールになるどころか、ボトルネックの原因となっており、チームは価値創出よりも回避策の運用に多くの時間を割かざるを得なくなっています。

• モデルを実際のビジネスの動きに合わせるには、追加の作業が必要になります。既製のモデルを組織の運用方法に適合させるには、多くの場合、カスタム LLM の構築、モデルのサイズ調整、エージェントワークフローによるプロセスの組み込みなど、追加のワークロードや修正を管理しなければなりません。
• 専門知識を適応させたり、企業のコンテキストに合わせて組み込んだりするには、チームが大規模なファインチューニングや複雑なエージェントワークフローのデプロイを扱う必要があります。
• 差別化が課題になります。 独自のアウトプットを得るには、時間の経過とともに関連性や正確性が失われるリスクを抱えながらチームが自前でモデルをカスタマイズするか、競合他社と同じ既製のモデルを使用するしかありません。
• コストは厄介なトレードオフを強います。トレーニングや推論に高いコストがかかるため、チームは AI をどこに導入するかを選別せざるを得ず、潜在的な機会を逃してしまいます。
  

BDH: エンタープライズインテリジェンスの新たなパラダイムを切り開く

トランスフォーマーモデルの進化を見てきましたが、製品を差別化し付加価値を高めようとする企業にとって、もはやそれだけでは不十分です。BDH は、トランスフォーマースタックの段階的な改善ではなく、パラダイムシフトを示し、エンタープライズ AI の新たな波をもたらします。

固定重みを使用するトランスフォーマーベースのモデルとは異なり、BDH のアーキテクチャはニューロンとシナプスのネットワークに近い構造になっています。新しい情報が入るたびに接続が継続的に更新されるため、モデルはタスクごとにリセットするのではなく、時間の経過とともに知識を保持し、洗練させていくことができます。その結果、エンタープライズインテリジェンスはメモリベースで、自律的で、観察可能な姿を実現します。これにより、企業は次のような新しい機能を活用できるようになります。

1. 継続学習:BDH はあらゆるやりとりから学習し、時間をかけてその学習内容を内部化することで、推論、持続的な専門知識、自律的な問題解決を高めていきます。

なぜそれが重要なのか

• BDHは、より多くの情報を取り込んで出力するだけではありません。時間とともに知的処理と高度な判断を行えるようになります。
• ドメインの専門知識が蓄積され、パーソナライゼーションによって複合的な有意性が生まれます。
• データやトレーニングでは再現できない、企業固有の強い定着性を生み出します。AI はビジネスを学習するほど、その企業にとってかけがえのない存在になります。
• 長期的な時間軸をまたいで推論できます。
• 希少で専門的なデータから学習できます (データに依存するトランスフォーマーとは対照的です)。
  
  

2. 効率性:BDH は、モデルがトレーニングモードでも推論モードでも、効率性が組み込まれた GPU 上の脳のように機能します。知能は、時間とともに強弱が変化する局所的な相互作用から生まれ、必要なときに活性化し、一度にすべてが作動するわけではありません。トランスフォーマーが毎トークンでモデル全体を一斉に計算するのに対し、発火するニューロンはわずか 5% にとどまります。

さらに、BDHは真にネイティブな推論モデルです。潜在推論空間と呼ばれる大規模な内部推論空間を作ることで、使用中の学習と適応を支援する内在的な記憶メカニズムを備えています。BDH は、トランスフォーマーが得意とする言語理解と生成は維持しつつ、標準的な LLM では難しい非言語タスクを解決する能力を追加しています。例えば、BDHは、入手可能な最難数独パズルを約 25 万個集めた Extreme Sudoku ベンチマークで 97.4% の精度を達成しており、主要 LLM ではほとんど歯が立たない問題にも対応できます。

なぜそれが重要なのか？

• トレーニング作業と推論トークン全体で効率が 10 倍向上しました。
• エネルギーと電力使用量を削減しました。
• 大量の事前トレーニングなしで、(薄いデータセットでも時間とともに学習できるため) 市場投入までの時間を短縮できます。
• 言語タスクと非言語タスク (ゲームなど) の両方に優れる単一のアーキテクチャであり、意思決定能力が高いことを示しています。
  
  

3. エンタープライズグレード: BDH を使用すれば、企業は自社のビジネスを理解し、継続的に適応し、監視や説明が容易な AI をそのまま運用できます。追加の回避策や修正は一切不要です。

なぜそれが重要なのか

• それは、組織の経験というコンテキストに組み込まれて動作する AI です。
• 監査可能性を備えたまま、本番環境で継続学習するシステムを安心して導入できます。
• AI は時間を考慮に入れるため、プロセス認識、デジタルツイン、次の最適アクションを実行できます。
• モデルが時間とともにどのように変化しているのか、なぜ変化しているのかを統制するガバナンスを提供します。
• 必要に応じて学習を一時停止、分離、またはロールバックできる明確な仕組みを備えています。

「スティッキー推論」が重要な AI 機能を実現

お客様のモートはどこにありますか？既製の AI や 1 回限りのトレーニングでは、もはや競争優位性を生み出せません。そこで必要になるのがまったく異なるアプローチです。BDH は、企業に究極のモートを築く「スティッキー推論」ユースケース向けに設計されています。BDH は所有データから継続的に学習し、時間をかけてドメイン専門性を蓄積することで、真の競争優位性を生み出しています。

スティッキー推論のユースケースは、企業の最も価値ある資産である所有データと深く結びついています。正確性と価値を維持するためには、常に最新かつ即時の情報への継続的なアクセスが必要であり、長期間にわたって推論の変化を観察できる能力に依存します。

では、これらの「スティッキーな」ユースケースはどこに現れるのでしょうか。BDH は、業種・機能を問わずスティッキー推論のユースケースに対応します。機能横断的には、新しい機能が重要となる領域にこれらが顕著であることがわかります。業種別では、小売、保険、テクノロジー、金融サービス、医療など、データとコンテキストが本質的にビジネスを動かしている領域で見られます。

機能:

BDH は、複数の地域や事業部門にまたがり、数か月にわたって推論することで、グローバルな他分野企業の四半期末の会計処理を自動化します。BDH は、決算を単独のイベントとして扱うのではなく、四半期全体を通じて、早期予測の実施、 中間期の差異評価、リスク分析によるヘッジ方針の提示、照合業務の調整、最終的には監査可能なクリーンな資産表で締めくくります。 この長期的な視点に基づくインテリジェンスにより、時間の経過とともに精度と先見性が向します。

業種: あらゆる業種
機能: マネジメント
主な差別化要因: 長期的な推論

小売業:

BDH は、小売企業が変化する状況に応じて売上を目標どおりに維持できるよう支援します。BDH は、変化する社内外のデータを取り込み、製品のパーソナライゼーションワークフローのどこに注力すべきか、ダイナミックプライシングの機会、カスタマイズされたプロモーションが有効な領域など、次の最適アクションを提案します。

業種: 小売業
機能: 営業
主な差別化要因: 次の最適アクション

保険

BDH は、保険サービス会社向けに、事前承認とその後の医療請求検証を高度に自動化し、前例のない複雑なケースでもリアルタイムで推論します。請求処理の自動化率を高めることで、請求一件あたりのコストを削減すると同時に、精度向上と各決定事項の監査証跡を組み込みます。

業種: 保険
機能: オペレーション
主な差別化要因: 相互運用性

ビッグテック

BDH は、通信事業者向けに各企業顧客のネットワークのライブデジタルツインを運用します。BDH は、テレメトリ、トポロジ、ライブ顧客データを継続的に取り込み、実際の使用状況と想定される使用パターンを比べて、先制的な再構成、メンテナンス、サービスの次の最適アクションを提案します。

業種: ハイテク
機能: サービス
主な差別化要因: ライブデジタルツイン

医療

BDHは、患者の病歴を継続的に統合し、より豊富な情報に基く治療の選択肢を提案することで、複雑な臨床研究を支援します。従来の LLM は、薄いデータセットから学習するようには設計されておらず、稀な症例や特異な症例を扱いを苦手とします。一方、BDHは「1 つの事例」からでも学習し、それを実用的なインサイトへと変換できます。

業種: 医療
機能: リサーチ
主な差別化要因: 薄いデータセット

金融サービス

BDH は、銀行独自のリスクプレイブックと投資理論を学習し、高度にパーソナライズされた案件開拓を実現します。リアルタイムの市場データを継続的に分析することで、銀行の方針に合致した新しい案件機会を創出し、標準的な市場オプションよりも収益性の高い収益性が見込まれる新たな投資機会を特定します。

業種: 金融サービス
機能: リスク
主な差別化要因: 継続学習

Amazon SageMaker HyperPod で開発され、AWS 向けに最適化されています

AWS と Pathway は、このテクノロジーをすぐに利用可能な形で提供し、コンテキスト、メモリ、長期的推論が最も重要なユースケースに最先端の AI イノベーションをもたらしています。BDH は Amazon SageMaker HyperPod で開発されており、大規模な分散トレーニング向けに設計されているこの基盤は、チームがマネージドワークフローを通じて GPU クラスターのプロビジョニングと運用を容易にします。

また、AWS インフラストラクチャ向けに最適化されているため、効率的かつ最大のパフォーマンスで動作します。BDH は 既存の AWS アプリケーションやワークフローからAPI 経由で利用でき、組織が既に AWS に保存しているデータに基づいて継続的に改善されていきます。

BDH の調査と実装を開始するには、Pathway (dragon@pathway.com) に連絡してください。お客様は AWS が支援する POC プログラムを通じて、初期投資を抑えて導入を開始できます。また、Pathway の研究成果は Arxiv で、 オープンソースのリポジトリは Github で後悔されています。