株式会社ずんだもん技術室AI放送局 podcast 20240930
内容紹介
AIやテクノロジーに関する記事を紹介 OpenAI considering restructuring to for-profit, CTO Mira Murati and two top research execs depart、RAG-LLMシステムへのユーザークエリは4つのレベルに分類できる 最も複雑なのは「隠れた根拠からの推論が必要なクエリ」Microsoftによる研究 AIDB、AMD Unveils Its First Small Language Model AMD-135M
出演者
関連リンク
OpenAIは、営利企業への再編を検討していることが明らかになりました。これは、CTOのミラ・ムラティ氏をはじめ、最高研究責任者（CRO）のボブ・マクグロウ氏、研究担当副社長のバレット・ゾフ氏といった主要な人物が相次いで退社したことを受けてのことです。
再編により、投資家にとってより分かりやすく、従業員がより容易に利益を得られる構造になると期待されています。ただし、非営利部門は別組織として存続する予定です。
OpenAIは、2022年末のChatGPTのリリース以降、急成長を遂げ、企業価値は1,500億ドルを超えるとの評価を得ています。しかし、その一方で、急速な成長に伴うリスクや、従業員や経営陣の不安定化といった課題も抱えています。
今回の再編は、これらの課題に対処し、OpenAIの持続的な成長を確保するための試みと考えられます。特に、優秀な人材の流出を防ぎ、今後の研究開発を推進していくことが重要となるでしょう。
今回の動きは、AI分野における競争が激化する中で、OpenAIがどのように対応していくのかを示す重要な出来事と言えます。今後、OpenAIがどのような方向に進み、AI技術の開発と社会実装にどのような影響を与えるのか、注目が集まります。
新人エンジニアの皆さんにとって、OpenAIはAI分野における最先端の技術開発を牽引する企業の一つです。今回の再編や人材の変動は、AI業界全体に大きな影響を与える可能性があります。常に最新の情報に目を向け、今後の動向を注視していくことが重要です。
引用元: https://www.cnbc.com/amp/2024/09/25/openai-cto-mira-murati-announces-shes-leaving-the-company.html
この記事では、Microsoftの研究者が行った、大規模言語モデル（LLM）を外部情報で強化する際に必要となる質問に関する調査結果について解説しています。
LLM単体では、特定の分野や最新情報への対応が難しい場合があり、外部データの活用が重要になります。外部データを用いることで、事実と異なる情報を生成してしまう「ハルシネーション」の抑制にも繋がります。
外部データ活用には、検索拡張生成（RAG）やファインチューニングといった手法がありますが、それぞれに課題も存在します。特に、専門性の高い分野や複雑な推論を必要とする質問に対しては、適切なデータ選択やLLMの活用方法が重要になります。
そこでMicrosoftの研究チームは、ユーザーからの質問を4つの難易度レベルに分類し、それぞれに適した解決策を提案しています。
質問の4つのレベル
- 単純な事実確認: 最も簡単なレベルで、直接的な答えが得られる質問です。
- 複数の事実の組み合わせ: 複数の情報を組み合わせる必要がある質問です。
- 推論と解釈: ある程度の推論や解釈が必要な質問です。
- 隠れた根拠からの推論: 最も複雑なレベルで、質問の意図を理解し、関連する情報を推測して回答する必要がある質問です。
LLMの能力を最大限に引き出すには、質問のレベルを理解し、適切なデータや手法を選択することが重要になります。この記事では、これらのポイントを踏まえて、LLMと外部データの連携をより効果的に活用する方法について解説しています。
新人エンジニアの皆さんにとって、LLMは非常に興味深く、かつ活用範囲が広い技術です。しかし、その潜在能力を最大限に引き出すためには、適切な知識と理解が必要です。この記事で紹介されているMicrosoftの研究成果は、LLMと外部データの連携に関する理解を深める上で、非常に有益な情報となるでしょう。ぜひ参考にして、LLMの活用を検討してみてください。
引用元: https://ai-data-base.com/archives/76241
AMDは、新たに開発した小型言語モデル（SLM）「AMD-135M」を発表しました。これは、AMD Instinct™ MI250アクセラレータを用いてゼロから学習された、Llamaファミリー初のSLMです。AMD-135Mは、一般的なデータ6700億トークンで学習された「AMD-Llama-135M」と、さらにコードデータ200億トークンでファインチューニングされた「AMD-Llama-135M-code」の2つのモデルで構成されています。
AMD-135Mの特徴として、推論処理の高速化を実現する「推論的デコード」技術が挙げられます。従来のオート回帰方式では、トークンを1つずつ生成するため処理速度が遅くなる問題がありましたが、推論的デコードでは、小さなモデルで候補トークンを生成し、大きなモデルで検証することで、複数のトークンを同時に生成し、推論速度を大幅に向上させています。
AMDは、AMD-135Mのトレーニングコード、データセット、およびモデルの重みをオープンソース化しており、開発者がモデルを再現したり、他のSLMやLLMの学習に役立てたりすることができます。これは、AI技術の進歩を促進し、より多くの人がその恩恵を受けられるようにするというAMDのコミットメントを示しています。
AMD-135Mは、データセンターのInstinct MI250アクセラレータや、AI PC向けのRyzen™ AIプロセッサ上で、推論処理の高速化を実現しています。AMDは、今後もAI分野におけるイノベーションを推進し、オープンソースコミュニティとの連携を強化していくことを表明しています。
制約事項
- AMD-135Mは、Llamaファミリーの小型言語モデルであり、AMD Instinct™ MI250アクセラレータで学習されました。
- 推論的デコード技術により、推論処理の高速化を実現しています。
- トレーニングコード、データセット、モデルの重みはオープンソース化されています。
引用元: https://community.amd.com/t5/ai/amd-unveils-its-first-small-language-model-amd-135m/ba-p/711368
（株式会社ずんだもんは架空の登場組織です）