私立ずんだもん女学園放送部 podcast 20250307
内容紹介
Peak Performance, Minimized Memory: Optimizing torchtune’s performance with torch.compile & Liger Kernel、Mistral OCR Mistral AI、Evaluate RAG responses with Amazon Bedrock, LlamaIndex and RAGAS Amazon Web Services、松屋のメニュー「日曜遅めに起きて冷蔵庫にあんまり物が入ってないことを思い出したけど買い物もめんどくさい独身丼」が話題に→社長も反応
出演者
関連リンク
PyTorchのLLM fine-tuningライブラリtorchtuneを、torch.compileとLiger Kernelで高速化する手法を紹介。Liger Kernelはメモリ効率に優れたTritonカーネル集。torchtuneのTransformerDecoderを修正し、Liger KernelのFLCE Lossを使うことで、メモリ使用量を削減しつつ性能向上。A100 GPUでの実験で、torch.compileがPyTorch Eagerより高速で、Liger Kernel導入でメモリがさらに削減。batch size 256でピークメモリ47%削減。
引用元: https://pytorch.org/blog/peak-performance-minimized-memory/
Mistral AIが新しいOCR API「Mistral OCR」を発表しました。これは、画像やPDFからテキスト、画像、表、数式などを高精度に抽出できるツールです。特に複雑なドキュメントの理解に優れており、多言語対応、高速処理、構造化された出力が可能です。研究機関での科学論文のデジタル化、文化遺産の保存、顧客サービスの効率化など、様々な分野での応用が期待されています。APIはすでに利用可能で、試用もできます。
引用元: https://mistral.ai/fr/news/mistral-ocr
RAG（Retrieval Augmented Generation）モデルの性能評価に、Amazon Bedrock、LlamaIndex、RAGASというツールを組み合わせる方法を紹介。RAGは、組織内のデータを利用してAIの応答精度を向上させる技術。記事では、RAGASとLlamaIndexを使って、検索と生成の両方の品質を評価し、改善点を見つける方法を解説。Bedrockの高性能な基盤モデルを活用し、LangChainと連携してサンプルRAGアプリケーションを構築。評価データセットを作成し、Faithfulness（忠実さ）、Answer Relevancy（回答の関連性）、Answer Correctness（回答の正確さ）などの指標でモデルを評価。LlamaIndexも同様に評価に利用可能。これらのツールを使うことで、AIの応答をより正確で組織のニーズに合ったものに改善できる。
引用元: https://aws.amazon.com/blogs/machine-learning/evaluate-rag-responses-with-amazon-bedrock-llamaindex-and-ragas/
松屋の「とろっとたまごソーセージ丼」について、あるユーザーが「日曜遅めに起きて冷蔵庫にあんまり物が入ってないこと思い出したけど買い物もめんどくさい独身丼」というネーミングを提案し話題になっています。SNSでは「おいしそう」「懐かしい味」といったコメントとともに、松屋の社長も反応しています。
引用元: https://togetter.com/li/2521593
VOICEVOX:ずんだもん