株式会社ずんだもん技術室AI放送局

AIやテクノロジーのトレンドを届けるPodcast。平日毎朝6時配信。朝の通勤時間や支度中に情報キャッチアップとして聞いてほしいのだ。

株式会社ずんだもん技術室AI放送局 podcast 20241009

2024年10月09日

MP3ファイルをダウンロード

内容紹介

AIやテクノロジーに関する記事を紹介 Launching Long-Term Memory Support in LangGraph、Llama 3.1 Swallow – Swallow LLM、ホロライブ・不知火フレアが“しらけん”メンバーを救うべく立ち上がる!「holo Indie」新作『FLARE NUINUI QUEST』10月24日リリース インサイド

出演者

ずんだもん
ずんだもん

関連リンク

LangChainは、LangGraphに長期記憶機能のサポートを追加しました。PythonとJavaScriptの両方で利用可能です。これは、会話間の情報を保存・呼び出しし、エージェントがフィードバックから学習し、ユーザー設定に適応することを可能にする機能です。LangGraph CloudとStudioのユーザーは、デフォルトで有効になっています。

従来のAIアプリケーションは、会話ごとに情報を忘れてしまうという課題がありました。LangChainでは、この問題を解決するため、様々な顧客との協業を通じて、アプリケーション固有のロジックを含む、最適なメモリソリューションがないことを学びました。そのため、LangGraphのメモリサポートは、シンプルで信頼性の高い永続的なドキュメントストアとして実装されました。これは、高度な抽象化を容易に構築できる基礎となります。

LangGraphは、チェックポイントを用いた単一会話スレッド内での状態管理に優れていましたが、今回のアップデートで、複数スレッドにまたがる長期記憶(クロススレッドメモリ)が実現しました。これは、putgetsearchといった基本的な操作で情報を保存、取得、検索できる永続的なドキュメントストアとして機能します。

主な機能は以下の通りです。

  1. クロススレッド永続性: 異なる会話セッション間で情報を保存・呼び出し。
  2. 柔軟な名前空間: ユーザー、組織、コンテキスト別にデータを管理するためのカスタム名前空間を使用可能。
  3. JSONドキュメントストレージ: JSON形式でメモリを保存し、容易に操作・取得。
  4. コンテンツベースのフィルタリング: コンテンツに基づいて名前空間全体でメモリを検索。

この機能を利用した実装例として、自身のメモリを管理するチャットボットエージェントのLangGraphテンプレートが提供されています。PythonとJavaScriptのサンプルコード、チュートリアルビデオなども公開されています。これらのリソースは、GitHubリポジトリで確認できます。(具体的なリポジトリへのリンクと使用方法の説明は割愛)

本アップデートにより、LangGraphを用いたアプリケーションは、より高度な対話機能と学習能力を実現できるようになります。新人エンジニアの方々も、提供されているサンプルコードやチュートリアルを参考に、容易に長期記憶機能を導入できます。

引用元: https://blog.langchain.dev/launching-long-term-memory-support-in-langgraph/

Llama 3.1 Swallowは、東京理科大学と産業技術総合研究所の研究チームが開発した、日本語能力を強化した大規模言語モデルです。米Meta社のLlama 3.1をベースに、8Bパラメータと70BパラメータのモデルがHuggingFaceで公開されており、Llama 3.1ライセンスに従って研究・商業利用が可能です。

本プロジェクトの目的は、高度な言語能力を持つ大規模言語モデルの構築方法を解明することです。そのため、多様な日本語・英語のタスク(質問応答、要約、翻訳、コード生成など)を用いた400回以上の評価実験を実施し、モデルの性能を検証しています。 特に、日本語の理解・生成能力向上に注力しており、既存のオープンソースモデルと比較して高いスコアを達成しています。

8Bパラメータモデルでは、日本語理解・生成タスクにおいて、既存のオープンソース8B以下のモデルの中で最高スコアを記録しました。 また、指示チューニングモデルにおいても同様の高いスコアと、日本語での応答率の向上を実現しています。 競合モデルであるQwen2.5 7BとGemma 2 9Bも高い性能を示しており、特にGemma 2 9Bは日本語MT-benchにおいてGPT-3.5を上回るスコアを達成しています。Llama 3.1 Swallowは、特に日本語の知識問題や日本語の言語生成タスクで強みを発揮しています。

70Bパラメータモデルでは、日本語理解・生成タスクにおいてQwen-2.5 72Bには劣るものの、英語の性能を維持しつつ日本語能力の向上を目指した結果、期待通りの性能向上は得られませんでした。これは、英語の能力維持を優先したことが原因の一つと考えられています。しかし、指示チューニングモデルでは、日本語MT-benchにおいて顕著な性能向上を確認しています。

コーパス構築においては、Common Crawlから約12兆文字の日本語テキストを抽出したSwallow Corpus Version 2を使用しています。これは、重複除去処理を先に実施することで、フィルタリング手法の柔軟な検討を可能にした点が特徴です。さらに、「教育的価値の高いテキスト」を厳選することで、一般教養タスクの性能向上に貢献しています。また、英語能力の維持にも工夫を凝らし、Llama 3.1 Swallow 8Bでは英語能力の低下を最小限に抑え、70Bモデルでは逆に向上させることに成功しています。

対話能力向上のためには、既存の大規模言語モデルを用いた合成データを作成し、指示チューニングを行いました。これは、高品質なデータセットを効率的に作成する手法として有効であることを示しています。

分散並列学習においては、計算効率の低下を抑える工夫により、128GPUを用いた学習でも、8GPUと同等の計算効率を実現しています。

本研究は、複数の機関からの資金提供を受けて実施されています。また、LLM-jpのデータや知見も活用しています。

引用元: https://swallow-llm.github.io/llama3.1-swallow.ja.html

ホロライブプロダクション3期生、不知火フレアさんを主人公とした新作横スクロールアクションゲーム『FLARE NUINUI QUEST』が、10月24日(木)にSteamより配信開始されます。これは、カバーの子会社であるシー・シー・エム・シーが運営するインディーゲームプラットフォーム「holo Indie」からのリリースとなります。

ゲームの舞台は、フレアさんが代表を務める「不知火建設(しらけん)」です。混沌によって行方不明になったしらけんメンバーを救うため、フレアさんは二丁拳銃「Smile」と「Go」を手に、ステージを駆け巡ります。

ゲーム内には、8-bitアレンジされたホロライブ楽曲が使用され、様々なアイテムや隠し要素、高難度のアチーブメントなどが用意されています。 プレイを進めることでフレアさんのパワーアップも可能です。

また、ゲームには兎田ぺこらさん、宝鐘マリンさんなど、他のホロライブメンバーも登場します。彼女たちはフレアさんを助けるだけでなく、敵として立ちはだかる場面もあるようです。さらに、ぺこらさんとマリンさん専用のキャンペーンクエストも用意されており、それぞれの視点からのストーリーや個性的なプレイスタイルが楽しめるようになっています。

本作はPC向けゲームで、詳細なゲーム内容はSteamストアページをご確認ください。

引用元: https://www.inside-games.jp/article/2024/10/08/160247.html

(株式会社ずんだもんは架空の登場組織です)