Vercel AI Gatewayの進化：信頼性と柔軟性を高めるマルチモデルアクセスと新機能

皆様、こんにちは。本日は、VercelのAI Gatewayチームより、Harpreet氏とWalter氏をお迎えし、Vercel AI Gatewayの最新情報と進化についてご紹介いたします。AI Gatewayをまだお試しでない方、または最近の新しい機能を見逃している方のために、その概要と本番環境における大きなメリットを詳しく解説します。

Vercel AI Gatewayとは？

Vercel AI Gatewayは、複数のAIモデルにアクセスするためのワンストップソリューションです。これにより、開発者は個々のプロバイダーごとにアカウントを作成する手間を省き、生産アプリケーションに柔軟性をもたらしたり、最新のモデルを簡単に試したりすることができます。

主な特徴とメリット:

単一のエンドポイントで複数モデルへアクセス: OpenAI、Anthropic、Cohere、Googleなど、様々なAIプロバイダーのモデルに一元的にアクセスできます。
信頼性の向上（自動フォールバック機能）: 本番環境でAI推論の信頼性を確保することは非常に重要です。Vercel AI Gatewayは、あるプロバイダーがダウンした場合に、自動的に他のプロバイダーへのフォールバックを処理します。これにより、インフラストラクチャで当たり前とされていた99.9%の稼働率に近づけることができ、アプリケーションの堅牢性を高めます。
レートリミットの緩和: Vercelは、上流のプロバイダーと良好な関係を築いているため、ユーザーは高いレートリミットの恩恵を受けられます。AI Gatewayを通じてアクセスすることで、レートリミットを心配することなく、製品の構築と提供に集中できます。
トークンコストのマークアップなし: Vercelは、トークン使用量に対してマークアップを行いません。AIを活用した製品開発を行う企業にとって、AI Gatewayは自然な選択肢となります。

運用開始（GA）後のVercel AI Gatewayの進化

Vercel AI Gatewayは、正式運用開始（GA: General Availability）以降も、皆様からのフィードバックを基に継続的に改善と成長を遂げています。特に、オブザーバビリティとAPIの面で大きな進展がありました。

1. オブザーバビリティの強化

AI Gatewayのランディングページでは、モデルリーダーボードが提供されています。これは、AI市場で何が起きているのか、どのモデルが開発者の間で人気を集めているのかといったトレンドを把握する上で非常に興味深いツールです。ここに表示されるデータは、有料顧客の実際の利用状況に基づいているため、市場の動向を理解するための高精度なシグナルを提供します。これにより、市場全体を俯瞰し、今後の方向性を洞察することが可能です。

2. モデルの拡充

前回の発表以降、20種類以上の新しいモデルがAI Gatewayに追加されました。これには、最近成功を収めているGLMシリーズや、GPT-4.5、XAIのGrokのような主要な基盤モデルが含まれます。Vercelは、様々なプロバイダーからの最新モデルを継続的に追加し、開発者が常に最先端のAI技術を利用できるように努めています。

3. APIの改善点

ユーザーフィードバックを基に、APIにも複数の改善が加えられました。

`only`オプションの追加

この新しいオプションを使用すると、特定のプロバイダーやモデルにアクセスを制限できます。例えば、あるプロバイダーの特定のモデルが持つユニークな機能にアプリケーションが依存している場合や、お気に入りのプロバイダーがいくつかある場合に有効です。onlyオプションで選択した複数のプロバイダー間では、引き続きフォールバック機能が利用できます。

プロバイダーメタデータによるルーティングの可視化

レスポンスには、プロバイダーメタデータが含まれるようになりました。これにより、Vercel AI Gatewayのルーティングシステムが舞台裏でどのように動作しているかについて、完全な可視性が提供されます。ドキュメントには、このメタデータを参照する方法が記載されています。具体的には、どのプロバイダーがどのような順序で試行される予定か、どのクレデンシャル（ユーザーが持ち込んだキーか、システムクレデンシャルか）が使用されるか、試行が失敗した場合の各プロバイダーで発生した問題、そして最終的に成功したプロバイダーとその詳細（使用されたクレデンシャル、ステータスコードなど）が明確に表示されます。これにより、開発者は「何が起こったのか分からない」といった問題を避け、最大限の情報を得ることができます。これは、Vercel AI SDKの「開発者への可視性を最大化する」という理念にも通じるものです。

`generation ID`による詳細情報取得エンドポイント

すべてのレスポンス（ストリーミングの場合も早期に提供）に含まれるgeneration IDを利用して、生成に関する詳細情報を取得できるget generationエンドポイントが追加されました。このREST APIエンドポイントは、各生成リクエストにかかったコストやその他の詳細情報を確認するのに役立ちます。現在は「OpenAI Compatible」のドキュメントセクションに記載されていますが、近日中に独立したセクションが設けられ、Gatewayプロバイダー内にも統合される予定です。

今後のエンドポイント強化

現在提供されている「OpenAI Compatible」およびGatewayプロバイダーの「get available models」は、近日中に詳細なレスポンスを返すように強化され、利用可能なモデルに関するより豊富な情報が提供される予定です。

まとめ

Vercel AI Gatewayは、単なるプロキシにとどまらず、AIアプリケーション開発における信頼性、柔軟性、そして開発者への深い可視性を提供する強力なプラットフォームへと進化を続けています。複数のAIモデルへのアクセスを簡素化し、自動フォールバックによる信頼性向上、レートリミット対策、そして透明性の高いコスト構造により、開発者はAIを活用した革新的な製品の構築に集中できます。今回ご紹介した新機能や改善は、皆様のAI開発体験をさらに豊かなものにするでしょう。ぜひVercel AI Gatewayをご活用ください。

参考動画

Vercel AI Gateway deep dive with the team!

ポイント