株式会社ずんだもん技術室AI放送局 podcast 20260820
内容紹介
約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開 - LLM-jp、GPT-5.6 Sol - API Pricing & Benchmarks、Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator
出演者
youtube版(スライド付き)
関連リンク
大規模言語モデル研究開発センター（LLMC）は、オープンかつ日本語に特化した強力な大規模言語モデルの開発の一環として、新たに約332億パラメータを持つDense型LLM「LLM-jp-4 33B」モデルを公開しました。LLMCではこれまでにも2026年4月にDense型の「LLM-jp-4 8B」やMoE型の「LLM-jp-4 32B-A3B」などを公開してきましたが、今回さらにスケールと性能を強化したモデルが追加された形となります。
今回公開されたモデルは用途や開発フェーズに合わせて選べる2種類が用意されています。1つ目は、事前学習と中間学習までを完了しているベースモデルの「llm-jp-4-33b-base」です。2つ目は、そこからさらに教師ありファインチューニング（SFT）や直接選好最適化（DPO）といった事後学習を施したモデルである「llm-jp-4-33b-thinking」です。エンジニアが自社固有のタスクに合わせてゼロからカスタムしたい場合はベースモデルを、対話性能や指示追従性を重視した高品質なモデルをすぐに試したい場合は事後学習済みモデルを選択できます。
性能面において、「llm-jp-4-33b-thinking」はLLM-jpが開発した評価フレームワーク「llm-jp-judge」を用いて厳格に評価されています。評価対象となったのは、日本語および英語のMT-Bench、AnswerCarefully、llm-jp-instructionsという4つの主要なベンチマークです。その結果、これらすべてのベンチマークにおいて、これまでに公開されてきたすべてのLLM-jp-4 Thinkingモデルのスコアを上回る高いパフォーマンスを記録しており、日本語処理能力のさらなる向上が確認されています。
さらに、今回のモデル公開に合わせて、事後学習のプロセスでDPO（Direct Preference Optimization）に用いられたデータセットも「llm-jp-4-33b-thinking-dpo-data」として同時にオープンソースとして公開されました。これにより、単に学習済みモデルを利用するだけでなく、モデルがどのように好ましい回答を学習したのかという選好データの構造をエンジニア自身が確認し、独自モデルのチューニングや研究開発に応用することが可能になっています。公開されたモデルやデータセットの詳細は、Hugging Faceの各リポジトリからアクセスして取得できます。日本のエンジニアにとって、日本語LLMの内部構造やチューニング手法を深く学ぶための極めて価値の高いリソースとなっています。
引用元: https://llm-jp.nii.ac.jp/news/20260818/
OpenAIが提供するフラグシップモデル「GPT-5.6 Sol」のOpenRouter経由におけるAPI仕様、価格、プロバイダー情報、およびベンチマーク結果について解説します。GPT-5.6 Solは、高度な推論能力、マルチステップのプログラミング、長時間にわたるエージェントタスクの実行に特化したモデルです。
主な技術仕様として、コンテキストウィンドウは1,050,000トークン、最大出力トークン数は128,000トークンをサポートしています。また、PDFや画像などのマルチモーダルな入力も処理可能です。ナレッジカットオフは2026年2月となっています。
API料金については、入力トークンが100万あたり2.50ドル、出力トークンが100万あたり15.00ドルに設定されています（プロモーション価格適用時）。キャッシュ機能（Cache Read/Write）やWeb検索機能の利用料金も個別に設定されており、プロンプトキャッシュを活用することでコストをさらに抑えることができます。
OpenRouterでは、OpenAI、Azure（EU）、Amazon Bedrock（US）などの複数のプロバイダーを介して同モデルを利用可能です。エンドポイントの障害時には自動で正常なプロバイダーへフェイルオーバーする仕組みが備わっており、可用性の高いシステム構築が可能です。
新人エンジニアが実際のアプリケーションに組み込む際は、OpenAI互換のAPIとして手軽に呼び出すことができます。TypeScriptやPythonなどの公式SDKやcURLを用いて、openai/gpt-5.6-solをモデルスラッグとして指定し、必要に応じてstream: trueや段階的な思考プロセスを取得するためのreasoningパラメータを設定して利用します。プロンプトキャッシュやストリーミング処理を組み合わせることで、効率的で高速なAIアプリケーションの開発が実現できます。
引用元: https://openrouter.ai/openai/gpt-5.6-sol
NVIDIAは、AIエージェントのパフォーマンスとタスク遂行能力を測定するオープンソースの評価ツール「SkillEvaluator」を発表しました。AIエージェントは高度なモデルやドキュメントがあっても、適切なツールの探索に迷ったり、文脈不足で効率が低下したりする課題があります。そのため、NVIDIAはツールの手順や指示をパッケージ化した「Verified Skills」を提供し、その効果を定量的に測定する仕組みとして本ツールを開発しました。
SkillEvaluatorによる評価は、3つのティアで構成されています。Tier 1では、スキーマ検証や静的コード解析、プロンプトインジェクションなどのセキュリティスキャンを行います。Tier 2では、埋め込み表現の類似度を用いて重複や競合を検出します。Tier 3では、オープンソースの評価フレームワーク「Harbor」を利用し、サンドボックス環境でスキルあり・なしの条件でエージェントを実際に稼働させ、性能差を「Skill Lift」として算出します。
NVIDIAが300以上のVerified Skillsを対象に実施したベンチマーク結果では、スキルを導入することでエージェントのパフォーマンスが大幅に向上することが示されました。具体的には、正解率（Correctness）が46から87へ、有効性（Effectiveness）が39から78へと大幅なスコア向上（Skill Lift）を記録しました。エージェントのハーネス（Claude CodeやOpenAI Codexなど）による違いよりも、対象となるプロダクトやタスクの設計が性能に大きく影響することが分かっています。また、トークン消費量や実行時間についてはスキルごとに異なり、メモリ最適化スキルでは大幅な削減効果が得られた一方で、インストールのための追加処理で増加するケースもあり、さらなる最適化の指標として活用できることが示されています。開発チームは、明確なタスク定義と評価データセットの構築が良質なスキル開発の鍵であると強調しています。
引用元: https://developer.nvidia.com/blog/evaluating-ai-agent-skill-performance-with-nvidia-skillevaluator/
（株式会社ずんだもんは架空の登場組織です）