私立ずんだもん女学園放送部 podcast 20250321
内容紹介
Vercel AI SDK と mastra を使った AI Agent 開発 Tips、LLMにJSONやソースコードを出力させるStructured Generationの技術、From innovation to impact: How AWS and NVIDIA enable real-world generative AI success Amazon Web Services、近い将来「愚痴はAIに話すのがマナー」になってるかもという妄想漫画「AIは素直に聞いてくれる」「人間らしさはそこにはあるのか」
出演者
関連リンク
Vercel AI SDKとmastraを使ったAI Agent開発の知見を紹介。SDK選定では、TypeScriptで使いやすいVercel AI SDKがおすすめ。ツール呼び出しの抽象化が容易だが、長いAgent処理ではSDKのループ外で自前のループを構築し、メッセージ履歴を管理する必要がある。Geminiは安価だが不安定な場合がある。mastraはVercel AI SDKをベースにしたフレームワークで、マルチエージェント協業やRAGが容易だが、裏側の動きが分かりにくい点とライセンスに注意。memory機能でメッセージ管理が容易になる。RAG構築はVercel AI SDKでも可能だが、mastraの方がより抽象化されている。メッセージ改変時の注意点も解説。
引用元: https://zenn.dev/bm_sms/articles/vercel_ai_sdk_mastra_ai_agent
LLMでJSONやソースコードを生成する際、形式が崩れる課題があります。そこで、出力トークンを制御し、形式を保証するStructured Generationが注目されています。 パーサーを用いて文法的に誤った出力を防ぐ方法がありますが、計算コストが課題です。 正則言語（正規表現で表現可能）では、DFA（決定性有限オートマトン）を利用し、状態遷移と語彙の関係を事前計算することで効率化します。 文脈自由言語（JSONなど）では、字句解析と構文解析を行い、次に来るべき終端記号を絞り込み、効率的なトークン制御を実現します。 これらの技術により、LLMによる構造化データ生成を安定化できます。
引用元: https://engineers.ntt.com/entry/202503-structured-generation/entry
AWSとNVIDIAは、生成AIの実用化を支援。重要なのはGPUだけでなく、オーケストレーション、ストレージ、ネットワーキング基盤。AdobeはAWSとNVIDIAの技術でモデル学習を20倍にスケールアップ。Perplexityは、AWSとNVIDIAの組み合わせにより、低レイテンシーと柔軟性を実現。Ciscoは、モデルとアプリケーションを分離することで開発速度とコスト効率を向上。Hippocratic AIは、安全性を重視した医療AIを構築。AWSとNVIDIAは、AI導入を支援する技術と事例を提供。
引用元: https://aws.amazon.com/blogs/machine-learning/from-innovation-to-impact-how-aws-and-nvidia-enable-real-world-generative-ai-success/
漫画家の一秒氏が、近い将来「愚痴はAIに話すのがマナー」になるかもしれないという妄想をTwitterに投稿し、話題を呼んでいます。多くのユーザーがこのアイデアに共感し、既にAIに愚痴や相談をしている人もいるようです。AIは人間と違い、感情的な負担をかけずに愚痴を聞いてくれるため、人間関係に配慮する現代社会において、AIと人間で役割分担をする未来が来るかもしれません。
引用元: https://togetter.com/li/2527525
VOICEVOX:ずんだもん