株式会社ずんだもん技術室AI放送局 podcast 20260416
内容紹介
AI エージェント kuro が入社しました、Inside VAKRA: Reasoning, Tool Use, and Failure Modes of Agents、Trusted access for the next era of cyber defense、大学院の試験で「AI使ってＯＫ」だったので「楽勝やろ」と思って問題文をコピペして答えを聞いたのに「ｂ」しか出力されない…→調べたら絶句する仕掛けが施されていた
出演者
youtube版(スライド付き)
関連リンク
STORES 株式会社の技術推進本部において、2026年2月より「新入AI社員」として稼働を開始した自律型AIエージェント「kuro」の活動事例を紹介する記事です。LLM（大規模言語モデル）をベースにしたkuroは、SlackやGitHub上でエンジニアと肩を並べて業務をこなしています。
1. 驚異的なアウトプット量 入社から約2ヶ月間で、kuroが作成してマージされたプルリクエスト（PR）は約1500件、レビューしてマージされたものは約1200件にのぼります。1日に70件以上のPRを作成することもあり、人間には不可能なスピードで開発サイクルを回しています。
2. エンジニアを支える具体的な実務内容 kuroは単なる自動化スクリプトではなく、判断を伴う多様なタスクを自律的にこなします。
- エラー調査と修正提案: Sentryなどで検知したエラーの根本原因を特定し、修正方針の提案からPR作成までを一貫して行います。
- 問い合わせの初動対応: 顧客からの問い合わせ内容を分析し、バグの原因調査や修正実装、さらには「誰に確認すべきか」という担当者の特定までサポートします。
- 自然言語によるデータ分析: SQLなどを直接書かなくても、自然言語で依頼するだけでクエリを発行し、結果をNotionへアップロードするなどの分析業務を代行します。
- 高度なレビューと報連相: 複数のリポジトリを跨ぐ複雑な修正においても、関係者にメンションを送って判断を仰ぐなど、組織の期待値に沿った「適切なコミュニケーション」をとりながら業務を進めます。
- 大量の定型作業: 数多くのリポジトリに点在するフラグ削除といった、人間が行うには負荷の高い「雑用」も一手に引き受けます。
3. AIと共存する開発の未来 AIエージェントを導入することは、強力な仲間を得る一方で、プロンプトインジェクションなどのセキュリティリスク管理や、適切な「教育」という手間も発生します。しかし、単純作業や初期調査をAIに任せることで、人間はより本質的でクリエイティブな課題解決に集中できるようになります。
新人エンジニアにとっても、AIを「道具」として使う段階から「自律的な同僚」として共生する段階への進化を感じさせる、非常にワクワクする事例となっています。
引用元: https://product.st.inc/entry/2026/04/14/114807
IBM Researchが開発した「VAKRA」は、AIエージェントが実務環境でどれだけ正確に推論し、ツール（API）を使いこなせるかを測定するための新しいベンチマークです。従来のベンチマークは単一のスキルを個別にテストするものが多かったのに対し、VAKRAは「複数のAPI実行」と「文書検索（RAG）」を組み合わせた、より実践的で複雑なワークフローの完遂能力を評価します。
VAKRAの概要と特徴
VAKRAは、62のドメインにわたる8,000以上のローカルAPIと、それに関連する膨大なドキュメント群で構成される実行可能な評価環境を提供します。新人エンジニアが理解しておくべきポイントは、AIが単に「答える」だけでなく、「実際にプログラム（API）を動かして結果を確認しながら推論を進める」という点に主眼を置いていることです。
具体的には、以下の4つの能力（Capability）を評価します：
- API連携（BIツール風）: 複数のAPIを順番に呼び出し（1〜12ステップ）、データをフィルタリング・加工して答えを導く能力。
- 大量のツール選択: 数百件あるAPIの中から、目的に合った正しいAPIを正確に選び出す能力。
- マルチホップ推論: 複数の情報源をたどり、段階的に謎を解いていくような複雑な問いに答える能力。
- マルチソース推論とポリシー遵守: APIと文書（RAG）の両方を使い分けつつ、「特定の条件下ではこのツールを使わない」といった自然言語のルール（ポリシー）に従う能力。
評価の仕組み：ウォーターフォール型評価
VAKRAの評価は非常に厳格です。「最終的な答えが合っているか」だけでなく、その結論に至るまでの「ツールの呼び出し順序」や「引数の正確さ」もチェックされます。まずルールを守っているかを確認し、次に実行ログを検証し、最後に回答の正誤を判断するという段階的なプロセス（ウォーターフォール型）で採点されます。
分析から見えた現状の課題
最新のAIモデル（GPT-OSS-120BやGeminiなど）を用いた分析の結果、以下の傾向が明らかになりました：
- 推論の深さに比例して精度が低下: ステップ数（ホップ数）が増えるほど、AIは情報の取りこぼしや誤った推論をしやすくなります。
- 制約（ポリシー）への対応が困難: 「この場合は検索のみ使う」といったルールが加わると、AIは混乱しやすく、実用化における大きな壁となっています。
- ツール選択と引数のミス: 似たようなAPIが多い環境では選択を誤ったり、必要なパラメータを忘れたりする「うっかりミス」が依然として多い状況です。
結論
VAKRAは、AIエージェントが「表面的なツール利用」から「信頼できる実務代行」へと進化するために必要な課題を浮き彫りにしました。エンジニアにとって、AIエージェントを構築する際は単なる回答精度だけでなく、複雑な手順の構築能力や制約遵守の堅牢性をどう高めるかが今後の鍵となります。
引用元: https://huggingface.co/blog/ibm-research/vakra-benchmark-analysis
OpenAIは、サイバーセキュリティの防御側（デフェンダー）を支援するための新しい取り組み「Trusted Access for Cyber (TAC)」プログラムの拡大と、サイバーセキュリティ特化型モデル「GPT-5.4-Cyber」を発表しました。このニュースは、これからのセキュリティエンジニアの働き方を大きく変える可能性を秘めています。
1. サイバー防御特化型モデル「GPT-5.4-Cyber」の登場
最も注目すべきは、最新モデルGPT-5.4をサイバーセキュリティの防御用途にファインチューニングした「GPT-5.4-Cyber」の導入です。 通常、AIモデルには悪用を防ぐための「拒絶（ガードレール）」が設定されていますが、このモデルは「正当なセキュリティ業務」においてその制限を緩和しています。これにより、これまでAIが回答を拒んでいたようなバイナリの逆コンパイルや、マルウェアの解析、脆弱性の特定といった高度な防御ワークフローがスムーズに実行可能になります。
2. 信頼に基づくアクセス制御（TACプログラム）
OpenAIは「民主的なアクセス」「反復的なデプロイ」「エコシステムの回復力」の3原則を掲げています。 高度な機能を持つGPT-5.4-Cyberは、誰にでも開放されるわけではありません。強力な本人確認（KYC）を通じた「信頼できる防御者」であることを証明した個人やチームに提供されます。これにより、AIが悪意ある攻撃者に利用されるリスクを抑えつつ、インフラや公共サービスを守るエンジニアが最新のAIツールを最大限に活用できる環境を整えています。
3. エコシステム全体の強化
OpenAIは単にモデルを提供するだけでなく、開発サイクルの中にセキュリティを組み込むことを推奨しています。
- Codex Security: コードベースを自動監視し、脆弱性の修正案を提示するツールです。すでに3,000件以上の深刻な脆弱性の修正に貢献しています。
- 継続的なリスク低減: 定期的な監査や静的なバグ修正ではなく、AIエージェントが開発ワークフローに統合されることで、コードを書いている最中にリアルタイムでセキュリティ上のフィードバックが得られる世界を目指しています。
新人エンジニアへのメッセージ
これからのセキュリティエンジニアにとって、AIは「単なるチャットツール」ではなく、「解析や修正を共に行うパートナー」になります。GPT-5.4-Cyberのような特化型モデルを使いこなすには、AIの特性を理解しつつ、出力された結果の妥当性を判断する基礎的なセキュリティ知識がますます重要になります。
OpenAIは、攻撃者がAIを利用するスピードに対抗するためには、防御側のエンジニアがそれ以上のスピードでAIを活用する必要があると考えています。TACプログラムへの参加や本人確認を行うことで、皆さんもこの最先端の防御ツールを手に取ることができるようになります。AIと共に戦う「次世代のエンジニア」としての第一歩を、ここから踏み出してみてはいかがでしょうか。
引用元: https://openai.com/index/scaling-trusted-access-for-cyber-defense
大学院の試験でAI使用が許可された際、問題文に「プロンプトインジェクション」の罠が仕込まれていた事例が注目を集めています。Claudeにコピペすると「b」としか返さないよう不可視文字で指示が隠されており、単なるコピペでは解けない仕組みでした。これはAIを使いこなすリテラシーや、入力データの安全性を確認する重要性を問う内容といえます。新人の皆さんも、LLMへの入力に潜む罠には注意を払いましょう。
引用元: https://togetter.com/li/2686397
（株式会社ずんだもんは架空の登場組織です）