株式会社ずんだもん技術室AI放送局 podcast 20241016
内容紹介
AIやテクノロジーに関する記事を紹介 RAGのハルシネーション対策をする手法「Astute RAG」、DuckDB で JSON Lines 形式のログを精査する、テスラの人型ロボット、イベント中に従業員が遠隔操作－関係者、この動画がすごい！ 今週のおすすめVTuber動画(～10月11日）
出演者
関連リンク
この記事は、Google Cloud AI ResearchとUSCの研究者らが提案した、RAG（Retrieval Augmented Generation）の精度向上手法「Astute RAG」の概要を説明しています。RAGは、大規模言語モデル（LLM）の回答精度向上に用いられる手法ですが、利用する外部データソースの不正確さや古さが、かえってハルシネーション（事実と異なる回答）を引き起こす問題がありました。
Astute RAGは、この問題を解決するため、LLMが持つ内部知識と外部知識を効果的に組み合わせる手法です。具体的には、以下の3ステップで構成されます。
-
LLM内部知識の活用: まず、外部データを参照せずにLLMに質問させ、その回答を内部知識として抽出します。不確かな情報は「分からない」と明示的に回答させることで、不正確な情報の混入を防ぎます。
-
情報の統合と矛盾解消: 次に、質問に関連する外部データソースを検索・取得します。取得した外部知識とステップ1で得られた内部知識を統合し、矛盾しない情報群をグループ化します。この工程は複数回繰り返すことも可能です。
-
信頼性評価と回答生成: 各グループごとに最終的な回答案を生成し、情報源の信頼性、複数情報源からの確認、情報の頻度、詳細さなどを考慮して信頼性を評価します。最も信頼性の高い回答案を選択し、最終回答として出力します。
従来のRAGでは、外部データソースの正確性に依存していましたが、Asture RAGはLLMの内部知識も活用することで、データソースの質が低い場合でも、RAGを使用しない場合と同等以上の性能を実現しました。複数のベンチマークデータセットにおいて、既存のRAG手法を上回る性能を示したと報告されています。
特に、社内ドキュメントの更新が遅れている、特定部署・役職者のみが理解できる情報が含まれているといった、企業環境特有の問題に対しても有効です。 Astute RAGは、情報ソースの信頼性をシステム的に評価・選別することで、ユーザー側がデータソースの正確性を常に確認する必要性を軽減し、RAGシステムの信頼性を向上させる可能性を秘めています。 記事では、Self-RAGやCRAGといった、ハルシネーション対策のための他のRAG手法についても言及しています。
引用元: https://zenn.dev/knowledgesense/articles/1ecd331dc6b589
この記事は、DuckDBを用いてJSON Lines形式のログデータを効率的に処理する方法を解説しています。新人エンジニアにも分かりやすいように、基本的な操作から応用的なテクニックまで丁寧に説明されています。
概要:
大量のログデータは、しばしば圧縮されたJSON Lines形式（.jsonl.gz, .jsonl.zstなど）で保存されています。従来は、個々のファイルをスクリプトで処理する必要がありましたが、DuckDBを使うことでSQLクエリだけで効率的に処理できます。
主な機能と制約:
-
圧縮ファイルの直接読み込み:
read_json_auto()関数を使用することで、*.jsonl.gzや*.jsonl.zstといった複数の圧縮JSON Linesファイルをワイルドカード(*)を使って一度に読み込めます。 ファイル名も取得可能です（filename=trueオプション）。 -
S3からの直接読み込み: S3バケットに保存されたログデータも、適切な認証設定（
CREATE SECRETコマンド）後、read_json_auto()関数で直接読み込めます。これにより、データのローカルへのダウンロードが不要になり、処理速度が向上します。 -
Parquet形式への変換: 処理後のデータを、高圧縮率のParquet形式に変換して保存できます。
COPY ... TOコマンドを使用し、S3への直接書き込みも可能です。 -
SQLによるデータ操作: DuckDBはSQLをサポートしているので、読み込んだログデータをSQLクエリで自由に加工・集計できます。複数のログファイルをJOIN句で結合することも可能です。
記事では具体的なSQLクエリ例が示されており、これらを利用することで、大規模なログデータの分析を容易に行うことができます。 DuckDBを利用することで、ログ解析スクリプトの開発工数を削減し、分析結果を迅速に得ることが期待できます。 詳細な使用方法や各関数のオプションについては、記事中に記載されているDuckDB公式ドキュメントを参照ください。
引用元: https://zenn.dev/shiguredo/articles/duckdb-jsonlines-log
テスラが10月10日に開催したイベント「ウィー、ロボット」で発表された人型ロボット「オプティマス」の試作品は、従業員による遠隔操作が行われていたことが関係者によって明らかになりました。
イベント参加者とのやり取りの多くは、従業員が別の場所から監視・操作しており、オプティマスはAIを用いて自律歩行は可能でしたが、イベントでの動作は完全な自律動作ではありませんでした。 一部参加者はソーシャルメディアでこの事実を指摘し、ある動画ではオプティマス自身が「人間にアシストされている」と発言している様子が確認されています。 テスラ側は現時点でコメントを控えています。
オプティマスは当初、このイベントでの発表は予定されておらず、マスクCEOから発表決定の通知があったのは約3週間前だったため、ソフトウェアの準備が間に合わず遠隔操作せざるを得なかったとされています。 マスクCEOはイベントでオプティマスを「これまでにない最大の製品」と評し、将来的には2万～3万ドルで販売する可能性を示唆しました。
今回の遠隔操作は、オプティマスの能力や市場への適合性に関して疑問を投げかける結果となりました。 投資家からも、イベントの内容に失望する声が上がっています。 しかしながら、オプティマスの実演は、その将来の可能性を示す機会になったと評価する意見もあります。 従業員以外がオプティマスと直接触れ合ったのは、今回のイベントが初めてでした。
引用元: https://www.bloomberg.co.jp/news/articles/2024-10-15/SLD9H0T0G1KW00
この記事は、10月11日までに公開されたVTuber動画の中から、特にユニークで技術力や企画力の高い、または時事性のあるおすすめ動画を5本紹介しています。
1つ目は、初見そらによるVRChat初心者向け動画「VRChatでお友達を作る4つの方法(前編)」です。VRChatで友達を作るための具体的な方法として、インスタンスの仕組みやハッシュタグの活用法などを丁寧に解説しており、VRChatの基本操作を習得した初心者にとって非常に役立つ内容となっています。後編も期待されます。
2つ目は、ドクター・デリートによる「【電子工作】VRChatからロボットアームを遠隔操作して遊んでみた」です。VRChatからロボットアームを遠隔操作する技術が紹介されており、その発想と実現力に驚かされます。ブロックキャッチやイライラ棒への挑戦を通して、この技術の応用範囲の広大さが示唆されています。
3つ目は、レオン・ゼロミヤとぽんぽこのオフコラボ動画です。個人VTuberとして活動する2人の本音トークを通して、VTuber活動の現実や、VTuberならではの価値観、キャラクターの重要性などが語られています。個人VTuberとして成功している2人の経験談は、今後のVTuberの進化を考える上で貴重なヒントとなります。
4つ目は、周央サンゴの新衣装お披露目配信です。従来のお披露目とは異なり、会話の内容に合わせて姿や背景が変化する、独特の演出が施されています。TRPGを得意とする周央サンゴらしい、視聴者を巻き込む演出が特徴的です。
これらの動画は、VTuberの技術力、企画力、そしてVTuber活動のリアルな側面を垣間見れる、見応えのある内容となっています。新人エンジニアの方にも、それぞれの動画の技術的な側面や、VTuberという文化への理解を深める上で参考になるでしょう。特に、ドクター・デリートの動画は、技術的な視点から見ると非常に興味深い内容です。VRChatと物理的なロボットアームを連携させる仕組みは、システム開発のヒントになるかもしれません。また、初見そらの動画は、ユーザーインターフェースデザインや、コミュニティ形成の戦略を考える上で参考になるでしょう。
引用元: https://www.moguravr.com/vtuber-weekly-2024-10-15/
（株式会社ずんだもんは架空の登場組織です）