株式会社ずんだもん技術室AI放送局 podcast 20250604
内容紹介
AIに「分からない」と言わせるための「RAG」の手法、No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL、Claude 4(Opus・Sonnet)とは？使い方や料金プロンプトのコツを解説、「ミクちゃんネギ買ってきて、卵があったら６つお願い」と頼んだらネギを６本買ってくるのは間違ってるけど間違ってないマンガがおもろい
出演者
関連リンク
RAG（Retrieval Augmented Generation）は、AIが学習済みデータから得た知識（内部知識）に加え、外部の情報源から検索した情報（外部知識）も参照して回答を生成する技術です。これにより、AIはより正確な情報に基づいた回答を出せるようになります。
しかし、従来のRAGや、さらに工夫を凝らした手法（Astute RAG、RAFTなど）を使っても、AIは回答に必要な情報が内部にも外部にもない場合でも、もっともらしいが実際は誤った情報を作り出してしまう「ハルシネーション（もっともらしいが、実際は誤った情報を生成してしまうこと）」を起こすことがあります。これは、AIが自分の知識の限界を正確に判断するのが難しいためです。
特に、高い信頼性が求められる分野でAIを利用する場合、ハルシネーションは大きな問題となります。そこで注目されているのが、新しい手法「DTA（Divide-Then-Align）」です。この手法の目的は、AIが本当に分からないことには、正直に「分かりません」と答えられるようにすることです。
DTAのポイントは、AIが「分からない」と答えるべき状況を明確に定義し、それを学習させる点にあります。質問に対して、AIが持つ知識で答えられるか、そして外部情報に答えがあるか、という2つの観点からデータを分類します。そして、AIも外部情報も答えを持っていないケース（本当に分からない状況）での「分かりません」という回答を「正しい回答」として学習させることで、AIに知識の境界線を認識させ、「これは答えられない」と判断できるようにします。
このDTA手法を適用した結果、従来のRAGモデルと比較して、回答の正確さを保ちながら、「分からない」と適切に答える能力が大幅に向上することが示されました。特に、知識が全くない状況での正直さが大きく改善されています。
企業向けにAIシステムを提供する場面では、ユーザーがハルシネーションを一度経験すると、AIへの信頼を失ってしまうことがよくあります。そのため、AI自身が知識の限界を理解し、正直に振る舞うことは、AIシステムを広く普及させる上で非常に重要です。今後、様々な種類の情報を取り込むRAGが増えていく中で、DTAのような、AIが「分からない」と言えるようにする技術は、システム開発の重要なポイントとなるでしょう。RAGシステムを開発する際の選択肢として、この考え方が参考になれば幸いです。
引用元: https://zenn.dev/knowledgesense/articles/468d7c853901f8
大規模言語モデル（LLM）の学習手法の一つにGRPOというものがあります。これはモデルが自分で文章などを生成し、その結果をもとに学習を進める方法です。この「生成」のステップが学習全体の処理速度（スループット）を遅くする原因（ボトルネック）になることがあります。
Hugging FaceのTRLライブラリでは、この生成ステップを高速化するためにvLLMという技術を利用しています。しかし、これまでは学習を行うGPUとvLLMが動作するGPUを別々に用意する必要がありました（これを「サーバーモード」と呼びます）。この方式では、学習中にvLLMのGPUが待機したり、逆に生成中に学習用のGPUが待機したりと、お互いがアイドルになる時間が多く発生し、GPUリソースの無駄が多く、コストも高くなりがちでした。
この問題を解決するため、TRLに新しく「コローケーションモード」が追加されました。これは、学習とvLLMによる生成を「同じGPU」で実行できるようにする技術です。これにより、学習と生成が同じGPU上で順番に処理されるため、GPUのアイドル時間を大幅に削減できます。また、別々のプログラムとして通信する必要がなくなり、処理のオーバーヘッドも減ります。
実験の結果、コローケーションモードは従来のサーバーモードと比較して、GPUを効率的に使用し、全体の処理速度を向上させることが確認されました。特に、一度に多くのデータを処理する場合や、比較的大きなモデルを扱う場合に効果が高いことが示されています。さらに、非常に大きなモデル（72Bパラメータ）でも、vLLMのGPUメモリ解放機能（sleepモード）や、モデルをGPU間で分散させるDeepSpeed ZeRO Stage 3といった技術と組み合わせることで、コローケーションモードで効率よく学習できることが確認されました。
コローケーションモードは、GPUリソースを最大限に活用し、LLMの学習をより速く、効率的に進めるための重要な進歩です。開発中に技術的な課題もありましたが、モデルの学習品質を維持したまま効率を上げられることが大きな利点です。
引用元: https://huggingface.co/blog/vllm-colocate
Anthropic社から、新しい高性能AIモデル「Claude 4」が登場しました。これは「モデルファミリー」として提供され、特に「Opus」と「Sonnet」という主要なモデルがあります。日本の新人エンジニアの皆さんがAIの選定や活用を考える上で、このClaude 4を知っておくと役立ちます。
「Claude 4 Opus」は最も賢く高性能なフラッグシップモデルで、特に複雑なコーディングや高度な推論、長期的なタスクが得意です。一方、「Claude 4 Sonnet」は高性能ながらも応答速度が速く、コスト効率が良いバランスの取れたモデルです。普段の業務や簡単な開発支援にはSonnet、より難易度の高い課題にはOpusと使い分けるのがおすすめです。無料ユーザーでもSonnetの一部機能は試せます。
Claude 4の大きな特徴は、その高いコーディング能力です。特にOpusは「世界最高のコーディングモデル」を目指しており、GitHubのIssue解決のような実際の開発タスクで高い精度を示しています。Sonnetも大幅に進化し、GitHub Copilotの基盤モデルにも採用されています。
また、賢く考えるための新しい仕組みもあります。質問に応じて素早く答えるモードと、時間をかけてじっくり考える「拡張思考モード」があり、このモードではWeb検索などの外部ツールも使ってより正確な答えを出すことができます（ベータ版）。開発者が許可すれば、過去のやり取りやファイル内容を「メモリ」として覚えておける機能も進化し、長期的なプロジェクトでの一貫性が向上しました。
開発者向けには、「Claude Code」というツールも登場しました。これはVS CodeやJetBrainsなどの開発環境（IDE）と連携してコード作成や修正を助けてくれます。SDKを使えば独自のAIエージェントを開発したり、GitHub連携でコードレビューや修正を自動化したりといったことも可能になりました。APIも強化され、モデルにコードを実行させたり、外部システムと連携させたりする機能が追加されています。
他の主要なAIモデル（GPT-4.1やGemini 2.5 Proなど）と比較すると、Claude 4はコーディングや推論のベンチマークで高いスコアを出しており、これらの分野で強みを持っています。ただし、画像や音声なども扱うマルチモーダル機能では他のモデルが進んでいる部分もあります。どのモデルを選ぶかは、皆さんがどんな作業にAIを使いたいかによって最適なものが変わってきます。
Claude 4は、公式ウェブサイト（claude.ai）で手軽に試せるほか、CursorエディタやGitHub Copilot、主要なクラウドプラットフォーム（Google Cloud Vertex AI, Amazon Bedrock）からも利用できます。
AIを効果的に使うには、プロンプト（AIへの指示）の仕方が重要です。Claude 4に明確で具体的な指示を与え、目的や背景を伝え、期待する出力形式を示すことで、より良い結果が得られます。例を見せたり、XMLタグを使ったりといった工夫も効果的です。
Claude 4は、開発作業の効率化や新しいアイデアの実現を助けてくれる強力なツールです。まずは無料版のSonnetを試してみて、その能力に触れてみることをお勧めします。
引用元: https://www.ai-souken.com/article/what-is-claude4
プログラミングの条件分岐ミスをネタにしたマンガが話題。エンジニアがよくやる間違いとして共感を集めています。「卵があったら」を「卵は6個」と解釈してしまう思考回路が面白いと、コード例とともに盛り上がっています。
引用元: https://togetter.com/li/2558745
（株式会社ずんだもんは架空の登場組織です）