TII Falcon-H1モデル、AWSに登場！Bedrock Marketplace & SageMaker JumpStartでAI開発の新時代へ

Amazon Web Services (AWS) は、アブダビに拠点を置く先進技術研究所（TII）が開発した、高性能な大規模言語モデル（LLM）「Falcon-H1」シリーズを、Amazon Bedrock Marketplace および Amazon SageMaker JumpStart で提供開始しました。これにより、開発者やデータサイエンティストは、従来のTransformerアーキテクチャとState Space Models（SSMs）を組み合わせた革新的なハイブリッドアーキテクチャを採用したFalcon-H1モデル（0.5B、1.5B、1.5B-Deep、3B、7B、34Bの6種類）をAWS上で容易に利用できるようになります。本発表は、最先端のAIモデルへのアクセスを民主化し、生成AIアプリケーションの開発を加速させる上で重要な一歩となります。

Falcon-H1 モデルの概要と特長

TIIとAWSの協業によるAIモデルのグローバル展開

TIIは、UAEの先進技術研究評議会（ATRC）傘下の主要な研究機関であり、AI、量子コンピューティング、自律ロボット、暗号化などの分野で先進的な研究開発を推進しています。今回、TIIとAWSは協業し、UAEで開発されたAIモデルを世界中の専門家が利用できるよう、そのアクセスを拡大します。TIIのLLM構築における技術的専門知識と、AWSのクラウドベースAI/MLサービスが連携することで、世界中のプロフェッショナルがFalcon-H1シリーズモデルを活用した生成AIアプリケーションを構築・拡張することが可能になります。

Falcon-H1 アーキテクチャの革新性

Falcon-H1アーキテクチャは、MambaのようなSSMの高速推論と低メモリフットプリント、そしてTransformerのコンテキスト理解能力と汎化能力を組み合わせた、並列ハイブリッド設計を採用しています。0.5Bから34Bまでのパラメータ規模に対応し、18言語のネイティブサポートに加え、多様な言語データセットでトレーニングされた多言語トークナイザーにより100言語以上への拡張も可能です。TIIのベンチマークによると、Falcon-H1モデルは、同等またはそれ以上の規模を持つ他の主要なTransformerモデルと比較して、優れた性能と効率を示しています。特に、Falcon-H1-0.5Bは一般的な7Bモデルと同等の性能を、Falcon-H1-1.5B-Deepは多くの現行の7B-10Bモデルに匹敵する性能を発揮するとされています。

幅広いモデルサイズと多言語対応

Falcon-H1シリーズは、0.5B、1.5B、1.5B-Deep、3B、7B、34Bの6つのサイズを提供しており、ベースモデルとインストラクションチューニング済みモデルの両方が用意されています。インストラクションチューニング済みモデルは、Amazon Bedrock MarketplaceとSageMaker JumpStartで提供されています。これらのモデルは、アラビア語、チェコ語、ドイツ語、英語、スペイン語、フランス語、ヒンディー語、イタリア語、日本語、韓国語、オランダ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スウェーデン語、ウルドゥー語、中国語といった18言語にネイティブで対応しており、多言語環境でのアプリケーション開発に貢献します。

長文コンテキスト処理能力と効率的な学習戦略

最大256,000トークンという長いコンテキスト長に対応できるFalcon-H1シリーズは、長文ドキュメント処理、マルチターン対話、長距離推論などのアプリケーションにおいて、特にRetrieval Augmented Generation (RAG) のような実用的な長コンテキストアプリケーションで競合優位性を示します。また、トレーニング戦略においては、従来のカリキュラム学習とは異なり、複雑なデータを早期に導入し、注意深い記憶ウィンドウ評価に基づいた戦略的なデータ再利用を実装しています。さらに、カスタマイズされたMaximal Update Parametrization (µP) レシピにより、モデルサイズ全体でスムーズなスケーリングを実現しています。

オープンソースとしての提供とコスト効率

TIIは、AIのアクセシビリティとコラボレーションの促進というミッションに沿い、Falcon-H1モデルを「Falcon LLMライセンス」の下でオープンソースとして公開しています。これにより、オープンソースの性質、多言語対応能力、プロプライエタリモデルと比較したコスト効率、そしてエネルギー効率といった利点を享受できます。

Amazon Bedrock Marketplace と SageMaker JumpStart の活用

Amazon Bedrock Marketplace によるモデル発見とデプロイ

Amazon Bedrock Marketplaceは、100を超える人気モデル、新興モデル、専門モデル、ドメイン固有モデルへのアクセスを提供し、精度、柔軟性、コストなどの要素に基づいてユースケースに最適なモデルを選択できます。単一の場所でモデルを発見し、統一されたセキュアなAmazon Bedrock APIを通じてアクセス可能です。インスタンス数とタイプを選択し、ワークロードの需要を満たしながらコストを最適化できます。Falcon-H1-0.5B-Instructモデルのデプロイは、Amazon Bedrockコンソールからモデルカタログで検索し、ライセンス条項に同意してデプロイボタンをクリックするだけで完了します。インスタンスタイプや数などの設定も柔軟に行えます。

SageMaker JumpStart による迅速なML開発

SageMaker JumpStartは、機械学習プロジェクトを迅速に開始するためのサービスであり、言語モデルやコンピュータビジョンモデルなどの最先端モデルアーキテクチャに、ゼロから構築することなくアクセスできます。SageMaker JumpStartを通じて、モデルをセキュアな環境にデプロイし、SageMaker推論インスタンスにプロビジョニングし、VPC内に分離できます。さらに、Amazon SageMaker AIを使用してモデルをカスタマイズおよびファインチューニングし、モデルデプロイメントプロセス全体を合理化することも可能です。Falcon-H1-0.5B-Instructモデルは、SageMaker Studio、SageMaker SDK、またはAWSマネジメントコンソールから利用でき、Python SDKを使用したプログラムによるデプロイもサポートされています。

今後の展望：AWSエコシステムにおけるFalcon-H1の役割

AI開発の民主化とイノベーションの加速

Amazon Bedrock MarketplaceとSageMaker JumpStartでのFalcon-H1モデルの利用開始は、AI開発の敷居を大幅に下げ、より多くの開発者や企業が最先端の生成AI技術を活用できるようになります。特に、TIIが開発した高性能かつ効率的なFalcon-H1モデルがAWSの強力なインフラストラクチャ上で利用可能になることで、これまで以上に多様で高度なAIアプリケーションの創出が期待されます。多言語対応、長文コンテキスト処理能力、そしてオープンソースとしての提供は、グローバルなAIコミュニティの発展と、より広範なユースケースへの適用を促進するでしょう。

ハイブリッドアーキテクチャの可能性

Falcon-H1モデルが採用するTransformerとSSMを組み合わせたハイブリッドアーキテクチャは、AIモデルの効率性と性能の両立という、現代のAI開発における重要な課題に対する有望な解決策を示唆しています。このアーキテクチャは、計算リソースの制約が厳しい環境や、リアルタイム性が求められるアプリケーションにおいて、特にその真価を発揮する可能性があります。今後、同様のハイブリッドアプローチを採用するモデルが増加し、AIの応用範囲がさらに拡大していくことが予想されます。