私立ずんだもん女学園放送部 podcast 20261016
内容紹介
NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning、Scale Agentic Coding Workflows with Meta’s Muse Spark Open on NVIDIA GB300 NVL72、LFM2.5-24B-A2B: Built for Fast On-Device Agents、JPEGのExifサムネイルの中にサムネイルのサムネイルを置きたい
出演者
youtube版(スライド付き)
関連リンク
NVIDIAが発表した「Nemotron 3.5 Super VL」は、自律型AIエージェントの専門的なワークフローに向けて設計された、オープンでカスタマイズ可能なマルチモーダル推論モデルです。120BパラメータのMixture-of-Experts(MoE)アーキテクチャを採用しており、トークンあたり12Bのパラメータをアクティブ化することで、モデルの処理能力と推論効率のバランスを最適化しています。単一のGPU上で、同等サイズの他のオープンモデルと比較してエージェントタスクにおいて最大5倍のスループットを実現します。
本モデルの大きな特徴は、テキスト、画像、文書、動画の理解と、高度な推論、インストラクション追従、ツール利用の能力を単一のモデルに統合している点です。これにより、個別のテキストモデルとビジョン・言語モデルを別々にデプロイしたり、コンテキストを渡したりする複雑なパイプラインを構築することなく、コード検証、Webリサーチ、文書インテリジェンス、サイバーセキュリティ、動画理解などの複雑なマルチステップのタスクを効率的に処理できます。
カスタマイズ面では、NVIDIA NeMoオープンライブラリを使用して、組織特有のデータ、ツール、ポリシーに合わせたポストトレーニング(事後学習)が可能です。NeMo AutoModelによる監視付きファインチューニング(SFT)やLoRAのほか、強化学習を用いてドメイン特有の精度を大幅に向上させることができます。Hugging Face上では、エージェント向けツール利用データやマルチモーダルデータを含む豊富なオープンデータセットも同時に公開されており、カスタムトレーニングに活用できます。
内部構造や推論の高速化技術においても多くの工夫が盛り込まれています。蒸留技術やマルチ・ティーチャー学習によりベースモデルの性能を高めており、並列予測を効率化するオープンな推論技術「LiLiCorr」によって、推論時のトークン生成速度を最大2.3倍に向上させています。また、NVIDIA Blackwellアーキテクチャ向けのNVFP4量子化や混合精度、マルチトークン予測(MTP)、エージェントターン間でのコンテキスト再利用(プレフィックスキャッシュ)などにより、高スループットと低レイテンシを両立しています。
デプロイに関しては、最適化された推論エンジンや標準APIを提供する「NVIDIA NIM」や、分散推論を最適化する「NVIDIA Dynamo」を組み合わせることで、実運用環境への組み込みが容易になっています。開発者はHugging FaceやModelScope、OpenRouterなどを通じてチェックポイントやAPIにアクセスし、自社の特化型エージェント開発に活用することができます。
引用元: https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning/
Metaがコーディングエージェントのワークフローに特化した巨大なMixture-of-Experts(MoE)モデル「Muse Spark Open」を発表しました。このモデルは総パラメータ数が816B(8160億)でありながら、スパースルーティング機構により1トークンあたり42Bのパラメータをアクティブ化することで、巨大なモデル規模でありながら効率的な推論を実現しています。最大100万トークンのコンテキストウィンドウを備えているため、単なるコードスニペットの生成だけでなく、プロジェクト全体や複雑な依存関係、数千ファイルに及ぶコードベースを一度に読み込んでリファクタリングやデバッグを行うことが可能です。
また、本モデルはテキスト、画像、動画、音声といったマルチモーダルな入力をネイティブに処理できる1.8Bのパーセプションエンコーダを搭載しています。これにより、開発者が遭遇するスクリーンショット、図解、エラーログ、音声解説付きの画面録画などを単一の推論パスで統合的に理解し、計画、実行、自己修正を行う高度なエージェント動作が可能になります。各アクションの実行前に実行内容の解説を生成するため、開発者がエージェントの意図を把握しやすい仕組みも取り入れられています。
インフラ面では、NVIDIAのGB300 NVL72プラットフォーム(Blackwell Ultra GPU)向けに最適化されており、NVFP4チェックポイントを利用することでメモリフットプリントを削減しつつ高いスループットを実現しています。これにより、複数ターンの複雑なエージェントセッションや、大規模なKVキャッシュを効率的に処理できます。さらに、vLLMやSGLang、TensorRT-LLMなどの主要な推論スタックに対応しており、NVIDIA NeMo AutoModelやMegatron Bridgeを用いた追加のファインチューニングやプロダクション向けのトレーニングもサポートされています。新人エンジニアの視点としても、今後のAI開発やコード支援ツールにおいて、単なる自動補完から自律的なエージェントによる複数ファイルの連携開発へのシフトを理解する上で非常に重要な最新動向となっています。
引用元: https://developer.nvidia.com/blog/scale-agentic-coding-workflows-with-metas-muse-spark-open-on-nvidia-gb300-nvl72/
Liquid AIは、端末上(オンデバイス)での高速動作とプライバシー保護を重視して設計された、総パラメータ数24B・アクティブパラメータ数2Bの推論モデル「LFM2.5-24B-A2B」をオープンウェイトで公開しました。これはLFM2.5シリーズの最大かつ最後のモデルであり、ベースモデルと事後学習済みモデルがHugging Faceなどで入手可能です。
本モデルは、最終的な回答を出力する前に明示的な思考の連鎖(Chain of Thought)を生成する推論専用モデルとして構築されています。アーキテクチャ面では、40層構造、トップ4ルーティングのMoEブロック(1ブロックあたり64エキスパート)、ゲート付きショート畳み込みとGQAのハイブリッド構造を継承しつつ、コンテキストウィンドウを従来の32,768トークンから131,072トークンへと拡張しています。さらに、インプレースのトークナイザー拡張により、ボキャブラリーサイズを65Kから128Kへと倍増させ、非ラテン文字のトークン化効率を向上させています。
事前学習の規模は17Tトークンから33Tトークンへとスケールアップされており、ミッドトレーニングでは品質重視のデータによる推論・数学・コード・多言語の強化と、131Kのロングコンテキスト対応が行われています。事後トレーニングでは、教師モデルによる特殊化や、エージェント環境(OpenClaw、Hermes Agent、Pi、OpenCodeなど)を活用したマルチドメインのオンプラシー蒸留およびエージェント強化学習(Agentic RL)が導入されています。
各種ベンチマークでは、総・アクティブパラメータ数がより多い他社のMoEモデル(Qwen3.6-35B-A3Bなど)と比較して、AutomationBench、BFCLv4、ToolSandbox、LiveClaw、τ³-Bench Bankingといったツール使用やエージェントワークフローに関する5つのベンチマークで匹敵またはそれを上回る性能を記録しています。特にAutomationBenchでは次点のモデルの3倍以上のスコアを叩き出しています。
推論速度の面でも非常に優れており、LFM2アーキテクチャの効率性により、Apple M5 Max上で184トークン/秒、単体のNVIDIA B300 GPUを用いた高負荷な環境下では21,000出力トークン/秒を超えるスループットを達成しています。llama.cpp、MLX、vLLM、SGLang、ONNXといった主要な推論エコシステムにも初日からネイティブ対応しており、Apple SiliconやAMD、Qualcomm、NVIDIAのハードウェア上で効率的に動作します。これにより、クラウドAPIに依存せず、ユーザーの端末上でローカルエージェントをスムーズに稼働させるための強力な基盤を提供します。
引用元: https://www.liquid.ai/blog/lfm2-5-24b-a2b
JPEGファイルのExif仕様にはサムネイル画像を持たせる機能がありますが、仕様上はサムネイル内のJPEGストリームにAPPnマーカなどの記録は禁止されています。しかし、この記事では好奇心からChatGPTを利用して、JPEGのExifサムネイル領域の中にさらに別のサムネイル画像を再帰的に(マトリョーシカのように)埋め込んだ画像を作成しています。規格違反のバイナリ構造ではあるものの、一般的な画像として表示でき、ExifToolを用いることで階層化されたサムネイル画像を順次取り出してパースできることを確認しています。エンジニアの遊び心やファイルフォーマットの構造をハックする楽しさを伝える技術系の面白い試みとなっています。(368文字)
引用元: https://blog.sushi.money/entry/2026/10/15/175941
VOICEVOX:ずんだもん