株式会社ずんだもん技術室AI放送局

AIやテクノロジーのトレンドを届けるPodcast。平日毎朝6時配信。朝の通勤時間や支度中に情報キャッチアップとして聞いてほしいのだ。

株式会社ずんだもん技術室AI放送局 podcast 20260915

2026年09月15日

MP3ファイルをダウンロード

内容紹介

Apples Siri AI Can Be Swapped Out for Claude, ChatGPT, Code Shows、AIエージェントの評価と品質保証 — 「動く」を「信頼できる」に変える検収の技術、Nari Labs Leads Coval’s Voice AI Benchmarks

出演者

ずんだもん
ずんだもん

youtube版(スライド付き)

関連リンク

Appleの次期OSである「iOS 27」および「macOS Golden Gate」の内部コード（プライベートフレームワーク）から、音声アシスタント「Siri」の裏側で動くAIモデルを、ChatGPTやClaudeといったサードパーティ製の外部LLM（大規模言語モデル）に深く統合・差し替えられる仕組みが実装されていることが、開発者の解析によって明らかになりました。

この統合は非常に高度なレベルで設計されており、主に以下の2つのアプローチ（プロトコル）が確認されています。

1. 部分的なタスクの委譲：「Model Delegation（モデルデリゲーション）」

これは、特定の質問や高度な処理を、外部AIへ「拡張機能（Extension）」として委譲する仕組みです。 例えば、ユーザーがSiriに「Claudeに頼んでリマインダーを設定して」と指示すると、Claudeがその自然言語の意図（インテント）を解釈します。タスクの実行自体はSiri（OS側）に差し戻され、Siriが標準の「リマインダー」アプリを操作して登録を完了させます。また、従来のSiriでは単体で処理できなかった「CSVファイルの作成」といった複雑なタスクを、Siriのチャット画面内でClaudeが肩代わりして実行し、結果を返すことも可能になります。

2. コアエンジンの完全な置き換え：「Model Manager Services（モデルマネージャーサービス）」

もう一つは、Siriのサーバー側モデルそのものを、GPT-5.6といった外部の高性能モデルへ完全に置き換える、より強力な仕組みです。 このシナリオでは、外部LLMがAppleの「Siriプランナー」のプロンプトや、OSを操作するための「ツール定義」を直接受け取ります。これにより、外部LLMはデバイス内の個人データ（連絡先やメールなど）にアクセスし、システムアクション（メールの検索・要約、メッセージアプリでの送信など）の実行計画を組み立てて命令を下すことができます。最終的な回答は、Siri自身のUIと合成音声を用いて、ユーザーへシームレスに提示されます。

■ 新人エンジニアに向けた技術的な解説と背景

この機能が生まれた背景には、欧州連合（EU）の「デジタル市場法（DMA）」の存在があります。この法律は、Appleに対してiOSの基盤機能をサードパーティに公平に開放することを義務付けており、Siriもその対象となっています。

技術的な観点で見ると、この仕組みは「OSと外部LLMの高度な連携アーキテクチャ」の素晴らしい実例です。 一般的なアプリ開発におけるAPI連携（テキストの送受信）にとどまらず、OS側が「プランナープロンプト」や「ツール定義（いわゆるFunction Callingの枠組み）」を外部LLMへ動的に提供し、安全にデバイス操作を行わせるという設計は、これからのAIエージェント開発において非常に参考になるパターンです。

現時点ではこれらの機能は開発中であり、一般ユーザーやサードパーティ開発者向けに広く開放されているわけではありません。しかし、Appleが将来的な「マルチモデルの相互運用性」を前提にOSの再設計を進めていることを示す、非常にエキサイティングな最新動向です。

引用元: https://www.macrumors.com/2026/09/14/siri-can-be-swapped-out-for-chatgpt-claude/

近年、生成AIやAIエージェント（LLMを活用して自律的にタスクを実行するシステム）を実務に導入する動きが活発化しています。しかし、AIの出力は確率的に変動するため、「1回動いたから大丈夫」というこれまでのソフトウェアテストの常識が通用しません。本書は、AIエージェントが作成したコードや成果物を、何を根拠に受け入れ（検収）し、改善し、モデルやプロンプトを更新すべきかという「品質保証（QA）」の技術を体系的にまとめた実践書です。

本書が提示する、AIエージェントを「信頼できる」システムに変えるためのキーコンセプトは以下の4点に集約されます。

  1. 依頼を「評価可能な条件」にし、データセットを育てる AIに対する曖昧な指示のままでは、成果物が正しいかを客観的に評価できません。まずは満たすべき要件を明確な「契約（コントラクト）」として定義します。その上で、AIの挙動を検証するためのテストケース（評価データセット）を整備し、継続的に拡充していくことが重要です。

  2. 「コードによる判定」と「LLMによる評価」のハイブリッド 評価の手法には、プログラムで機械的に判定する「コード評価」と、LLM自体に成否を判定させる「LLM評価」の2つがあります。
    • コード評価: 実行スピードが速く、結果がブレないため、極力この自動テストの範囲を増やすことが基本です。
    • LLM評価: 表現の揺らぎやデザイン、複雑な文章のニュアンスなど、コードでの自動判定が難しい定性的な部分に適用します。ただし、評価を行うLLM（評価器）自体の信頼性も検証する必要があります。

  3. 「1回の成功」から「繰り返せる成功」へ（複数試行と継続評価） AIエージェントは同じ入力に対しても、時によって異なる動きをします。そのため、評価は1回だけでなく、複数回（例えば1つの課題に対して6回など）試行して合格率（成功率）を算出します。さらに、使用するLLMのモデル変更やプロンプトの調整を行った際に、過去にできていたことができなくなる「デグレ（品質低下）」を防ぐため、CI/CDなどの仕組みを用いて継続的に自動評価を行うパイプラインの構築を推奨しています。

  4. 評価パイプラインの構築と検収の実践 本書では、これら一連のプロセス（評価、複数試行、LLM評価、デグレ検証）をTypeScriptで実装した共通のアプリケーションを通じて学びます。実際のコード例やテンプレート、実行記録が豊富に用意されており、評価パイプラインを一本の動くシステムとして体感できるよう設計されています。

新人エンジニアへのメッセージ AIを用いた開発では、「AIが作ったからブラックボックスでテストできない」と諦めるのではなく、「実測できている範囲」と「未検証の範囲」を明確に切り分ける姿勢が重要になります。本書を通じて、不確実性の高いAI出力をコントロールし、本番に耐えうる品質を保証するための「一歩進んだテストエンジニアリング」の手法を身につけることができます。これからAIを活用したプロダクト開発に関わるすべての人にとって、非常に心強い道標となる一冊です。

引用元: https://zenn.dev/hampen2929/books/ai-agent-evaluation-guide

本記事は、Nari Labsが開発した音声AIモデルが、業界の主要な評価プラットフォーム「Coval」のベンチマークにおいて、処理速度（レイテンシ）、認識・合成の正確性、そしてコスト効率のすべてで世界トップクラスの性能（パレートフロンティア）を達成したことを報告するものです。

音声対話AIの開発において、応答の速さと正確性はユーザー体験を決定づける最重要ファクターです。本要約では、新人エンジニアの方にも理解しやすいよう、評価指標の解説を交えながら具体的な成果を説明します。

1. 音声AIを評価する重要指標

音声対話システムを評価する際、本ベンチマークでは以下の指標が重視されます。

  • TTFS (Time-to-Final-Segment): 音声認識（STT）で、ユーザーが話し終えてから最終的なテキストが出力されるまでの遅延時間。
  • TTFA (Time-to-First-Audio): 音声合成（TTS）で、テキストが入力されてから最初の音が出力されるまでの遅延時間。
  • WER (Word Error Rate): 単語誤り率。値が低いほど、テキスト化や音声出力が正確であることを示します。

2. 音声認識（STT）における成果

Nari Labsの「Qwen3-ASR Fast」モデルは、音声認識（STT）において驚異的な成果を収めました。

  • 速度（TTFS）: 中央値 44ミリ秒（ms） で、すべての公開モデルの中で 第1位。
  • 正確性（WER）: 3.6% を記録し、トップのAssemblyAI（3.5%）に迫る 第2位。
  • コストパフォーマンス: 利用料金は 1時間あたり0.12ドル。これは競合のAssemblyAI（約3.75倍高価）やDeepgram Nova 3（約2.4倍高価）と比較して圧倒的に安価です。さらに安価なStandardプラン（1時間あたり0.06ドル）も用意されています。

3. 音声合成（TTS）における成果

音声合成（TTS）の「Qwen3-TTS Fast」モデルでも、業界最高水準の性能を実証しました。

  • 正確性（WER）: 3.8% を記録し、ベンチマーク内で 第1位 を獲得。
  • 速度（TTFA）: 中央値 63ミリ秒（ms） で 第2位。なお、1位（49ms）のモデルは3億（300M）パラメーターの軽量モデルですが、Nari Labsは17億（1.7B）パラメーターの大型モデルでありながら、この超低遅延を達成しています。
  • コストパフォーマンス: 利用料金は 100万文字あたり10ドル で、ベンチマーク内で 共同最安値。ElevenLabs（5倍高価）やCartesia（6.5倍高価）を大きく引き離しています。こちらもStandardプラン（100万文字あたり5ドル）が提供されています。

4. Nari Labsの技術的優位性

特筆すべきは、同じオープンソースモデル（Qwen3）をベースにしながらも、Nari Labsのエンドポイントが他社のホスティング環境（Basetenや公式のFlashエンドポイントなど）を大幅に凌駕する精度と速度を実現している点です。これは、インフラや推論エンジンの最適化技術におけるNari Labsの優れた技術力を示しています。

5. まとめと次のステップ

Nari Labsは現在、STTおよびTTSモデルの無料パブリックベータを実施中です。まもなく有料の正式版（GA）へと移行しますが、今アカウントを作成すると移行時に20ドル分のクレジットが提供されます。遅延とコストの壁を取り払い、極めて滑らかなリアルタイム音声AIを実現したいエンジニアにとって、必見の技術成果です。

引用元: https://narilabs.com/blog/nari-labs-leads-coval-voice-ai-benchmarks/

（株式会社ずんだもんは架空の登場組織です）