株式会社ずんだもん技術室AI放送局 podcast 20260813
内容紹介
Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300、Cloudflare OS：エージェント、アプリ、作業のためのオープンプラットフォーム、ループとグラフは別物じゃない — 「検証の積み木」でエージェント設計を整理してみた、Live2D、デスクトップ版アプリ「nizima LIVE」にAIアシスタント機能を追加！モデルとチャットAIが連携 会話が楽しめる gamebiz
出演者
youtube版(スライド付き)
関連リンク
Alibabaがリリースした「Qwen3.8-2.4T-A95B（Qwen3.8-Max）」は、同社最大規模となる総パラメータ数2.4兆のオープンウェイトモデルであり、NVIDIAの最新ハードウェア環境であるGB300 NVL72上で効率的にサービングするための技術詳細がNVIDIAの公式ブログで解説されています。新人エンジニア向けに、本記事の重要なポイントをアーキテクチャ、ハードウェア、開発エコシステムの3つの軸でわかりやすく説明します。
まず、モデルの最大の特徴は「ファイングレインMoE（Mixture of Experts）」と「フルアテンション・リニアアテンションのハイブリッド構造」を採用している点です。2.4兆という巨大な総パラメータ数を持ちながら、トークンごとにルーティングされた950億パラメータのみがアクティブになるため、高コストな密結合モデルと比較して推論コストを大幅に抑えられます。また、最長100万トークンのコンテキストウィンドウに対応しており、長大なコードベースの解析やエージェントワークフローで問題となるKVキャッシュのメモリ逼迫を、リニアアテンション層の導入によって効果的に克服しています。さらに、リクエストごとに推論の深さを「low/high/xhigh」で動的に切り替える機能も備わっており、タスクの複雑さに応じて計算量と品質を柔軟にトレードオフ可能です。
次に、この巨大モデルを支えるハードウェア基盤として「NVIDIA GB300 NVL72」が紹介されています。72基のBlackwell Ultra GPUを単一のNVLinkドメインで統合し、130 TB/sという超高速な通信帯域を実現しているため、MoE特有の複雑なエキスパート間通信のボトルネックが解消されています。これにより、FP8精度において追加のモデルチューニングなしでも、1GPUあたり4,000トークン/秒を超えるスループットと、1ユーザーあたり350トークン/秒を超える応答速度を初日から達成しています。
最後に、開発者が実際にプロダクションへ導入するためのサービングパスやエコシステムも整備されています。SGLang、vLLM、NVIDIA Dynamoといったオープンソースの推論レシピに加え、モデルフリーのNVIDIA NIMコンテナを用いることで、迅速かつ容易にデプロイが可能です。また、ドメイン特化型のファインチューニングを行う際には「NVIDIA NeMo AutoModel」を利用することで、Hugging Faceのチェックポイントから直接SFTやLoRA学習を行えます。大規模なLLMを用いた高度なAIエージェント開発や、最先端のハードウェアを活用した高速推論に関心のあるエンジニアにとって、見逃せない最新動向となっています。
引用元: https://developer.nvidia.com/blog/serve-qwen3-8-2-4t-a95b-a-2-4t-parameter-model-with-configurable-reasoning-on-nvidia-gb300-nvl72/
Cloudflareは、組織全体でAIエージェントやアプリを活用するためのオープンソース基盤「Cloudflare OS」を発表しました。新人エンジニアが知っておくべきポイントとして、このプラットフォームは単なるチャットツールではなく、社内システムやドキュメントと連携しながら業務を遂行する「エージェントワークスペース」、安全なアクセス制御を行う「セキュリティ・ガバナンス基盤」、そして「フルスタックアプリのプラットフォーム」の3つの要素で構成されている点があげられます。
大きな特徴として、エージェントや作成されたアプリは最初は一切のアクセス権を持たず、Cloudflare Accessと「Gatekeeper」を介して明示的に許可された権限（capability）のみを利用します。これにより、機密データの不正な漏洩を防ぎ、セキュリティを担保しています。また、エージェントはブラウザー上の隔離された環境やDynamic Worker上で動作し、自身でコードを記述・実行して調査やデータ処理を行います。
さらに、業務に合わせてAIが作成するアプリは、クライアント側のUIコードと、専用のSQLiteデータベースを持つサーバー側のWorkerコード（Durable Object Facet）で構成されます。これにより、作成したアプリをチームで共同利用したり、ブループリント（設計図）として共有して各自が自由に変更したりすることが可能です。すべてのAI推論リクエストはCloudflare AI Gatewayを経由するため、コスト管理やモデルの使い分けも一元化できます。コア部分とサンプルデプロイメントがGitHubで公開されており、自社環境へ容易に導入・カスタマイズできる設計になっています。
引用元: https://blog.cloudflare.com/ja-jp/cloudflare-os/
この記事では、AIエージェント設計で注目される「ループエンジニアリング」と「グラフエンジニアリング」の関係性を、「検証の抽象度を上げ、人間が行っていた検証を仕組みに肩代わりさせる」という視点から分かりやすく整理しています。
著者によると、これらは別物ではなく「包含関係」にあります。外側の層は内側の層を置き換えるのではなく、包み込んで品質を担保します。エージェント設計は4つの層に分類されます。
第1層の「LLM単発推論」は検証がない世界で、出力の正誤確認は100%人間の仕事です。第2層の「ReAct」では「タスクが完了したか」をLLM自身が自己申告しますが、作った本人が判定するため品質担保には限界があります。第3層の「ループエンジニアリング」では、合否判定をテストやLint、評価用LLMなど「作った本人の外」に出し、人間が行っていたレビュアーの役割を自動化します。第4層の「グラフエンジニアリング」では、複数のループ成果物を突き合わせて目的に沿っているか検証する合流点を作り、失敗時の複雑な戻り先や実行順序をマネージャーのように配線します。
新人エンジニアがアーキテクチャを選ぶ際の基準として、まずはシンプルな第3層のループで実装し、単一の成果物で判定できなくなる、あるいは失敗時の戻り先が複数に分かれるなどの複雑さが必要になった段階で、初めて第4層のグラフへ昇格させるのがベストプラクティスであると解説されています。いきなり複雑なグラフを導入せず、必要な検証の粒度に応じて段階的に設計を取り入れる重要性が学べます。
引用元: https://tech-blog.rakus.co.jp/entry/20260812/ai
Live2Dのデスクトップアプリ「nizima LIVE」バージョン2.7がリリースされ、大きな注目を集めるAIアシスタント機能が追加されました。ChatGPTやGemini、ローカルLLMなどのチャットAIとLive2Dモデルを連携させ、音声やテキストで対話できるようになります。音声読み上げにはVOICEVOXの「ずんだもん」や「四国めたん」など多数のキャラクターが選べ、会話内容から感情を自動推定してモデルの表情や口元を豊かに動かすことが可能です。OBSへの字幕出力や音声のみでモデルを動かすトラッキング機能にも対応しており、エンジニアの皆さんもAIとキャラクターを組み合わせたインタラクティブな表現を手軽に実装・体験できるようになっています。
引用元: https://gamebiz.jp/news/430951
（株式会社ずんだもんは架空の登場組織です）