MP3ファイルをダウンロード

内容紹介

Designing AI agents to resist prompt injection、Gemini Embedding 2: Our first natively multimodal embedding model、Autonomous context compression、鹿や猪を追い払う目的の四足歩行ロボットだが数週間で馴れてしまった、なので追跡させて行動範囲を記録してハンターに共有するSFチックな試みに移行

出演者

ずんだもん

youtube版(スライド付き)

関連リンク

• Designing AI agents to resist prompt injection

OpenAIは、外部ツールやWebブラウジングを利用する「AIエージェント」をプロンプトインジェクションから守るための、新しい設計思想と防御策を公開しました。

1. プロンプトインジェクションの進化 従来の攻撃は「命令を直接上書きする」単純なものでしたが、モデルの進化に伴い、現在は「ソーシャルエンジニアリング（嘘や誘導）」を用いてAIを騙す高度な手口へと変化しています。外部サイトに仕込まれた「偽の指示」をAIが信じ込み、ユーザーの意図しない行動（情報の外部送信など）を取らされるリスクが高まっています。

2. 「入力フィルタリング」の限界 「AIファイアウォール」のような中間層で悪意ある入力を検知する手法だけでは、巧妙に文脈に紛れ込んだ嘘を見抜くのは困難です。そのため、防御の考え方を「入力を完璧に防ぐ」ことから、「攻撃が成功しても被害を最小限に抑えるシステム設計（制約）」へとシフトさせる必要があります。

3. 「人間」をモデルにした多層防御 OpenAIは、AIエージェントを「人間のカスタマーサポート担当者」に見立てて設計することを推奨しています。
   • 権限の制限: 人間の担当者に返金限度額などのルールがあるように、AIが扱えるツールや権限に制限を設け、侵害時の被害範囲（ブラストレイジアス）を抑えます。
   • 性悪説に基づく設計: 外部と接触する以上、エージェントは「騙される可能性がある」ことを前提にシステムを構築します。

4. 具体的な技術対策：Source-Sink分析とSafe URL 攻撃の成立には「信頼できない情報源（Source）」と「危険なアクション（Sink）」の組み合わせが必要です。ChatGPTでは、会話内の機密情報が外部の第三者URLへ送信されそうになった際、それを検知してユーザーに確認を求める、あるいはブロックする「Safe URL」という仕組みを導入しています。

5. エンジニアへのアドバイス 自律型エージェントを開発する際は、「同様の状況で人間に仕事を任せるなら、どのような制限を課すか？」を考えることが重要です。モデルの賢さに依存するのではなく、従来のセキュリティエンジニアリングの手法をAIシステムに適用することが、安全なエージェント運用の鍵となります。

引用元: https://openai.com/index/designing-agents-to-resist-prompt-injection

• Gemini Embedding 2: Our first natively multimodal embedding model

Googleは、Geminiアーキテクチャに基づいた初の完全ネイティブ・マルチモーダル埋め込み（Embedding）モデル「Gemini Embedding 2」を公開しました。現在、Gemini APIおよびVertex AIにてパブリックプレビューとして利用可能です。

これまでの埋め込みモデルは主にテキストを対象としていましたが、本モデルはテキスト、画像、動画、音声、PDFドキュメントを「単一の共有ベクトル空間」にマッピングします。これにより、メディアの種類を問わず「意味の近さ」で情報を整理・検索できる、高度なマルチモーダルRAG（検索拡張生成）やセマンティック検索が容易になります。

■ 主な特徴と技術仕様

1. 多彩なメディアへの対応：
   • テキスト：最大8,192トークンをサポート。
   • 画像・動画・音声：画像は1リクエスト最大6枚、動画は最大120秒、音声はテキスト変換（文字起こし）なしで直接処理が可能です。
   • ドキュメント：最大6ページのPDFをそのまま埋め込めます。
2. インターリーブ（混在）入力の理解： テキストと画像を組み合わせたリクエストを直接処理できるため、「この写真の場所について説明しているテキストを探す」といったメディア間の複雑な関係性を捉えた検索が可能です。
3. 柔軟な次元数（Matryoshka Representation Learning）： デフォルトの3072次元から、必要に応じて次元数を縮小可能です。これにより、検索精度を維持しながら、ストレージコストや検索時のレイテンシを最適化できます。

■ エンジニアにとっての利点 従来のシステムでは、動画や音声を検索するために「一度テキストに書き起こしてからベクトル化する」という複雑なパイプラインが必要でしたが、本モデルは生のメディアデータを直接ベクトル化できるため、システム構成を劇的にシンプルにできます。

実際の事例では、動画内の微細な表現をテキストクエリで特定するタスクにおいて高い精度（Recall@1 85.3%）を記録しており、法務ドキュメントの検索やクリエイター支援など、幅広い分野での活用が期待されています。

AIエージェントの開発や次世代の検索システムを構築するエンジニアにとって、あらゆる情報を「同じ基準」で比較・検索可能にするこのモデルは、極めて重要な基盤技術となるでしょう。

引用元: https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/

• Autonomous context compression

LangChainが提供する「Deep Agents SDK (Python)」および「CLI」に、AIエージェントが自律的に自身のコンテキスト（作業メモリ）を圧縮できる新しいツールが追加されました。LLMが限られたコンテキストウィンドウ（記憶容量）を、自分自身の判断で最適化できるようになります。

従来のシステムでは、「トークン使用量が上限の85%に達したら圧縮する」といった固定のルールに基づいてメモリ管理を行うのが一般的でした。しかし、この手法では、複雑なコードのリファクタリングの最中に重要な詳細が失われたり、逆に新しいタスクに移った後も不要な古い情報が残り続けたりといった、非効率な事態が発生していました。

今回のアップデートにより、エージェントは以下のような「最適なタイミング」を自ら判断して、コンテキストの圧縮を実行できるようになります。

1. タスクの境界線: ユーザーが新しい作業を指示し、これまでの詳細が不要になった時。
2. 情報の抽出後: 大量の資料を読み込み、結論や要約を出し終えた後。
3. 大規模な作業の前: これから長いコード生成や複雑な多段ステップの実行に入る前。
4. 情報の整理が必要な時: 要件変更により以前の議論が不要になったり、迷走した履歴を整理したい時。

エージェントがこのツールを実行すると、直近のメッセージ（利用可能なコンテキストの10%）はそのまま保持され、それ以前の履歴が要約に置き換えられます。これにより、いわゆる「Context Rot（文脈の劣化）」を防ぎつつ、モデルが重要な情報を失わずに推論を継続できるようになります。

この機能の根底には、エンジニアが細かな制御ルールをプログラムするのではなく、進化し続けるAIモデルの推論能力にメモリ管理を委ねるという設計思想（The Bitter Lessonの考え方に近いもの）があります。

新人エンジニアにとって、AIに「何をさせるか」だけでなく、AI自身に「自分の記憶をどう管理させるか」という視点は、より高度で自律的なエージェントを開発する上で非常に重要なヒントとなるはずです。現在はSDKでオプトイン（選択制）として利用可能で、CLIではすでに取り入れられています。

引用元: https://blog.langchain.com/autonomous-context-compression/

• 鹿や猪を追い払う目的の四足歩行ロボットだが数週間で馴れてしまった、なので追跡させて行動範囲を記録してハンターに共有するSFチックな試みに移行

農作物を守る四足歩行ロボットの活用事例です。当初は音や光で害獣を追い払う目的でしたが、数週間でシカがロボットに慣れてしまうという課題に直面しました。そこで発想を転換し、あえて「慣れ」を利用してロボットにシカを追跡させ、行動範囲をデータ化。その情報をハンターと共有して効率的な捕獲に繋げるという、SF映画のような試みが始まっています。現場の予期せぬ反応を逆手に取った、非常に柔軟な技術活用法です。

引用元: https://togetter.com/li/2673486

• お便り投稿フォーム

（株式会社ずんだもんは架空の登場組織です）