株式会社ずんだもん技術室AI放送局 podcast 20260825
内容紹介
NVIDIA Vera Rubin and Blackwell Set a New Standard for Agentic AI Performance per Watt、Solving Agentic AI Fleet Challenges with NVIDIA Vera CPU、How NVIDIA Groq 3 LPX Unlocks Ultrafast Interactivity at Long Context on NVIDIA Vera Rubin
出演者
youtube版(スライド付き)
関連リンク
AIエージェントの普及により、推論処理は単発のやり取りから、推論やツール呼び出し、サブエージェントの協調を含むマルチステップのワークフローへと変化しています。OpenRouterのレポートによると、エージェントからのリクエストは通常のチャットと比較して約15倍ものトークンを消費することが示されています。このような動的なエージェント型ワークロードでは、従来の固定長ベンチマークではなく、長期コンテキストのプリフィル、KVキャッシュの再利用、ツール呼び出しによる中断、分散MiE（Mixture of Experts）実行を考慮した評価が不可欠です。
SemiAnalysisが提供するオープンソースのベンチマークスイート「InferenceX」には、実際のコーディングエージェントのセッションをリプレイして評価する「AgentX」が含まれています。AgentXは、記録されたセッションの文脈や入出力長、推論時間、ツール呼び出しのレイテンシをそのまま再現することで、実際の運用環境に近い負荷で推論インフラの性能を測定します。主な評価指標としては、電力あたりのスループットを示す「トークン毎メガワット（tokens per megawatt）」や、エンドツーエンドの正規化インタラクティビティ、標準インタラクティビティ、E2Eレイテンシ、初回トークン生成時間（TTFT）が用いられます。
NVIDIAの最新ハードウェア評価では、Blackwellアーキテクチャの「GB300 NVL72」が、DeepSeek V4 ProやKimi K3などの大規模MiEモデルにおいて、H200 NVL8と比較して最大15倍から80倍に達する電力あたりのスループット向上を実現しました。これにより、100万トークンあたりのコストを最大10分の1に抑えつつ、インタラクティブな応答性を維持することが可能です。さらに、次世代の「Vera Rubin NVL72」のプレビュー結果では、GB300 NVL72と比較して最大30倍高い電力効率（メガワットあたりのスループット）を達成し、エージェント型AIインフラの性能基準を大きく引き上げています。
こうした圧倒的な性能と電力効率は、ハードウェアとサービングランタイムの高度な協調設計によって支えられています。SGLang、TensorRT-LLM、vLLMなどのフレームワークによる広範なエキスパート並列化（Wide Expert Parallelism）、DeepGEMMを活用した混合精度カーネル（MXFP4/MXFP8）、プリフィルとデコードを分離・スケーリングする「NVIDIA Dynamo」、そして72基のGPUを高速に結ぶ「NVLink」ファブリックが統合されています。これにより、エージェントセッションのコンテキスト肥大化や高い同時実行数に対しても、再計算や待ち時間を最小限に抑え、実用的なパフォーマンスを維持したスケーラブルなAIファクトリーの構築が可能になります。
引用元: https://developer.nvidia.com/blog/nvidia-vera-rubin-and-blackwell-set-a-new-standard-for-agentic-ai-performance-per-watt/
AIエージェントのワークロードは従来の一般的なコンピューティングとは異なり、予測不可能で高い可変性を持つことが大規模なテレメトリー分析から判明しています。具体的には、約16万件以上のセッションデータの97%以上が固有の軌跡プロファイルを持っていました。エージェントの実行は、長い順次推論チェーン（Length）と、ツール呼び出しや並列サブエージェント実行などの突発的な並列バースト（Width）が組み合わさって構成されています。
この実行特性において、セッション全体の完了時間を左右するクリティカルパスは「順次実行される処理のレイテンシ」であり、並列処理の完了を待つ間もメインエージェントは高いシングルスレッド性能を必要とします。そのため、単純に高コア数に特化したシステムやコアを一時的に停止させるアプローチでは、メモリの総保有コスト（TCO）の悪化やスレッド性能のトレードオフが発生します。
NVIDIAが開発した「NVIDIA Vera CPU」は、こうしたAIエージェントのワークロード全体を最適化するために設計されています。「Olympusコア」を採用し、全コア稼働時でも高いシングルスレッド性能を発揮することでレイテンシにシビアな順次パスを加速させつつ、十分なコア数と高帯域幅のメモリサブシステムによって突発的な並列バーストを効率よく吸収します。コンパイラや静的解析、Pythonベンチマークなどの評価では競合製品の最大1.5倍の性能を発揮するとされています。これにより、インフラエンジニアやAIファクトリーの運用者は、単一のCPUデザインポイントでリソースの遊休を防ぎながら、電力と資本を効率的に完了したエージェントタスクへ変換することが可能になります。
引用元: https://developer.nvidia.com/blog/solving-agentic-ai-fleet-challenges-with-nvidia-vera-cpu/
本記事では、NVIDIAの次世代「NVIDIA Vera Rubin」プラットフォーム向けに設計された低レイテンシ推論アクセラレータ「NVIDIA Groq 3 LPX」について解説しています。マルチターンやエージェント型AIシステムでは、セッションが進むにつれてコンテキスト長が数十万トークン規模へと急増するため、長文脈を維持しながら超高速なインタラクティブ性を実現することがシステム上の大きな課題となります。
推論時の並列化手法であるテンソル並列（TP）は、小バッチサイズでの高インタラクティブ推論においてチップ間の通信・同期待ち（初ビットレイテンシ）がボトルネックになります。Groq 3 LPXはこの課題を解決するため、コンパイラによる決定論的実行モデルを採用しています。これにより、チップ上のLPUやSRAM、C2Cリンクの構成を事前に完全スケジューリングし、リアルタイム調停を不要にすることで初ビットレイテンシを極限まで削減しています。さらに、マトリクス乗算をドット積の連続として扱い、320バイトのベクトル単位で計算とチップ間通信を細粒度でオーバーラップさせることで、通信の末尾遅延を最小化しています。
サードパーティのベンチマークであるArtificial Analysisによる評価では、100Kの入力コンテキスト長を持つGemma 4（31Bモデル）を用いたテストで、世界最高水準となる3,431出力トークン/秒を記録しました。10Kのコンテキスト長でも3,382トークン/秒を維持し、コンテキスト長によるレイテンシの変動が極めて少ないことが確認されています。また、オープンソースのコーディング向けベンチマーク「SPEED-Bench」では中央値4,767トークン/秒、上位20%で5,500トークン/秒を超える処理速度を達成しました。
さらに、Vera Rubin NVL72ラックとGroq 3 LPXを組み合わせることで、プレフィル・デコード分離、Attention-FFN分離、外部ドラフターによるスペックレイティブデコードなど、柔軟なサービング構成が可能になります。これにより、2兆パラメータ規模のモデルにおいても高インタラクティブなエージェント型AIワークロードを効率的に駆動できるプラットフォームを実現しています。
引用元: https://developer.nvidia.com/blog/how-nvidia-groq-3-lpx-unlocks-ultrafast-interactivity-at-long-context-on-nvidia-vera-rubin/
（株式会社ずんだもんは架空の登場組織です）