株式会社ずんだもん技術室AI放送局 podcast 20261028
内容紹介
The sleep framework: A new way for LLMs to retain knowledge in continual learning、Build specialized multimodal models with LFM3、Genie 4: A new generation of world simulation、「ずんだもんオンラインくじ」がオンラインくじサービス「ガラくじ ONLINE」にて販売開始！A4サイズのアクリルパネル、ずんだもんのボイスキーホルダーなどが当たる！ 電撃ホビーウェブ
出演者
youtube版(スライド付き)
関連リンク
Google Researchは、大規模言語モデル（LLM）の継続学習における「破滅的忘却」の課題に対処し、新しい知識を長期的に保持・自己改善させるための新パラダイム「Sleep Framework」を発表しました。従来のLLMは事前学習完了後に静的な状態となり、新しいデータでパラメータを継続的に更新すると過去のタスク性能が著しく低下するという問題がありました。また、コンテキスト内学習（ICL）に依存するとセッション終了時に情報が失われます。このフレームワークは人間の睡眠時の脳のメカニズムに着想を得ており、「アクティブ（覚醒）フェーズ」と「オフライン睡眠フェーズ」の2つの状態を循環させることで、モデルのアーキテクチャやコードベースを変更せずに継続的な学習を実現します。
睡眠プロセスは、主に「メモリ固定化」と「ドリーミング（夢）」の2つのステージで構成されています。メモリ固定化では、人間の非レム睡眠中の徐波睡眠を模倣し、パラメータの動的な拡張と知識の定着を行います。具体的には、Mixture of Experts（MoE）アーキテクチャを活用し、睡眠時に新たに解放された低ランクの専門家ブロックに、高頻度の短期記憶レイヤーから情報を移行させます。この移行には、一般化知識蒸留（GKD）と強化学習ベースの模倣学習（LTI）を組み合わせた知識シーディング（上方蒸留）を用います。低頻度の長期モジュールへの記憶の移行が完了すると、短期記憶用のパラメータはリセットされ、将来のアクティブセッションに向けて容量が解放されます。
もう一つのステージであるドリーミングは、人間のレム睡眠中のシナリオシミュレーションを模倣し、自律的な自己改善ループを実行します。MoEルーターをランダムに活性化して異なる知識ドメインを混合させ、合成トレーニングサンプル（夢）を生成します。その後、勾配ベースのデータ選択によってモデルの性能向上に最も貢献するサンプルをフィルタリングし、強化学習（RL）によるファインチューニングを行って下流タスクの精度を最適化します。理論的背景として、このプロセスは単なるデータ拡張ではなく、低ランク圧縮問題および学習の幾何学的性質を改善する最適化のランドスケープとして機能し、古い能力を上書きせずに新しい知識を安全に統合できることが示されています。
評価実験では、この睡眠フレームワークが多くのベンチマークで優れた成果を示しています。未知の言語を用いた継続翻訳タスクでは、従来のベースラインで発生していた破滅的忘却をほぼゼロに抑えました。また、BABILongベンチマークを用いた1000万トークン規模の長期コンテキスト理解においても、長文情報をパラメータメモリに直接圧縮することで、GPT-4などの強力なベースラインを上回るスケーリングを達成しました。さらに、SQuADや継続事前学習を用いた事実知識の統合、AIMEやHMMTといった数学的推論ベンチマークにおいても、従来の教師あり学習や自己蒸留の手法を凌駕する精度を記録しており、継続学習を行うAIシステムの発展に向けた重要な技術的知見を提供しています。
引用元: https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
Liquid AI社が開発した新世代の軽量マルチモーダル基盤モデル「LFM3」の技術解説です。LFM3は、テキスト、ビジョン、音声、オムニ（統合）、意思決定モデルの各機能を約2B（20億）パラメータ規模の共通のバックボーン上に統合し、エッジ環境やオンデバイス実行において高い実用性を発揮します。
前世代のLFM2ファミリーと比較して、LFM3は1パラメータあたりの性能が大幅に向上しており、新開発のトライハイブリッドアーキテクチャと学習レシピの採用により、LFM3-1.7Bはパラメータ数を35%削減しながら前世代モデルを上回る性能を実現しています。アーキテクチャの主な特徴として、13層のゲート付きショート畳み込み、256トークンのウィンドウを持つ5層のスライディングウィンドウアテンション（SWA）、6層のグローバルアテンションを組み合わせた「トライハイブリッドレイヤーミックス」を採用しています。さらに、量子化時の精度低下を抑制するヘッドごとのゲート付きアテンションや、長文脈処理を安定させるパーシャルRoPE、サンドイッチ正規化などを導入することで、携帯電話やRaspberry Pi 5、ラップトップ、各種ハードウェアアクセラレータ上での高速な推論と、最大256Kトークンという長文脈コンテキストを両立しています。
LFM3ファミリーには、ベースモデルから派生した複数の専門モデルが用意されています。テキスト処理用の「LFM3-1.7B」をはじめ、画像・動画入力をサポートする「LFM3-VL-2B」、音声の入出力やストリーミングに対応する「LFM3-Audio-2B」、すべてのモダリティを統合した「LFM3-Omni-2B」、そして高速な構造化判断を行う「d1-2B」および「d1-omni-2B」が提供されています。これらはHugging FaceのTransformersライブラリから簡単にロードして実行することが可能です。
また、LFM3は一般的な汎用モデルとは異なり、各企業の固有データや専門用語、デプロイ環境に合わせて最適化（特化）させることを前提に設計されています。全てのモデルが単一のGPUでファインチューニング可能であり、SFT（教師あり微調整）、DPO、GRPO、CPTといった手法を用いた具体的な実装手順やGoogle Colabのノートブックが公開されています。テキストからの構造化データ抽出や音声コマンドの関数呼び出し、さらにはロボティクスの制御タスクへの応用など、多岐にわたるユースケースに対応する優れた拡張性と実用性を備えたモデルとなっています。新人エンジニアにとっても、オンデバイスAIやマルチモーダルモデルのカスタム・ファインチューニング手法を学ぶ上で非常に有益な内容です。
引用元: https://huggingface.co/blog/LiquidAI/lfm3
Google DeepMindは、リアルタイムな対話型シミュレーションの精度とフォトリアリズムを大幅に向上させた次世代の世界モデル「Genie 4」を発表しました。Genie 4はネイティブにマルチモーダル対応しており、シミュレーションの実行と同時に環境音や音楽、さらには状況に応じて変化するインタラクティブな人間の音声を同時に生成できる点が大きな特徴です。
本モデルはGeminiファミリーの機能を統合しており、Gemini Omniが現実世界の外観や挙動をシミュレーションに反映させ、他のGeminiモデルがシミュレーションの整合性や時間的な連続性を維持するための高度な推論を担っています。ユーザーはテキストプロンプトや標準的なキーボード操作を用いることで、天気の変更、カメラワークの移動、オブジェクトの追加といった環境の変化をリアルタイムに指示し、シミュレーションを動的に制御することが可能です。
主な技術的進化としては、以下の4点が挙げられます。第一に、自然言語を用いたリアルタイムでの世界シミュレーションの形状変化や制御です。第二に、空気力学や衝突判定といった物理法則のシミュレーション精度の向上と、自然に動作・反応する人間キャラクターの再現です。第三に、風の音や環境音に加え、状況に適応する音声対話のネイティブな生成です。第四に、Geminiモデル（Gemini 3.8 Flashなど）と連携することで、複雑で多段階にわたるタスクを小分けにしてステップごとに処理し、因果関係や手続き的行動を伴う一貫性のある世界を構築できる点です。
Genie 4の活用ユースケースとしては、クリエイティブディレクションにおける映像のプリビジュアライゼーションやライブテイクの調整、2Dアーカイブ写真からのリアルタイム環境シミュレーション、ゲーム開発における自然言語ベースのプロトタイピング、そしてロボットの訓練環境をはじめとする各種エンタープライズ分野でのシナリオ生成が期待されています。
現時点では初期の実験的モデルであり、長時間セッションにおける詳細なビジュアルやオブジェクトの永続性のドリフト、複雑な物理相互作用、リアルタイム音声の精度などの課題も残されています。安全性に関しては、悪意のあるコンテンツ生成を防ぐための厳格な安全ガードレールや、SynthIDによるデジタルウォーターマーク技術が導入されており、現在はGoogle AI UltraのProject GenieやGemini API、Google AI Studioの早期アクセスパートナーおよび信頼できるテスター向けにリサーチプレビューとして提供が開始されています。新人エンジニアにとっても、最先端のマルチモーダルAIモデルや世界モデルのアーキテクチャ、実世界への応用アプローチを理解する上で非常に示唆に富む内容となっています。
引用元: https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/
イエローが運営するオンラインくじサービス「ガラくじ ONLINE」にて、「東北ずん子・ずんだもんプロジェクト」のオリジナルグッズが当たる「ずんだもんオンラインくじ」の販売が開始されました。販売期間は2026年10月26日から11月25日までで、価格は1回770円（税込）です。賞品にはA4サイズのアクリルパネルをはじめ、ボイスキーホルダー、アクリルキーホルダー、ダイカットマグネット、缶バッジなどの豪華なラインナップが用意されています。また、1会計につき10枚購入するごとに、全6種のオリジナルブロマイドがランダムで1枚もらえる購入特典も用意されており、ファン必見の企画となっています。
引用元: https://hobby.dengeki.com/news/3208258/
（株式会社ずんだもんは架空の登場組織です）