株式会社ずんだもん技術室AI放送局

AIやテクノロジーのトレンドを届けるPodcast。平日毎朝6時配信。朝の通勤時間や支度中に情報キャッチアップとして聞いてほしいのだ。

株式会社ずんだもん技術室AI放送局 podcast 20241004

2024年10月04日

MP3ファイルをダウンロード

内容紹介

AIやテクノロジーに関する記事を紹介 Introducing vision to the fine-tuning API、An AI companion for everyone - The Official Microsoft Blog、OpenAIのプロンプト自動作成機能を触ってみる、社畜労働で死にかけてた時「ゆゆ式」に生かされた経験があり神格化…だが嫁に「何が面白いかわからない」と言われて見直したら自分も面白さがわからなかった話

出演者

ずんだもん
ずんだもん

関連リンク

OpenAIは、GPT-4oのファインチューニングAPIに画像データの利用を導入しました。これにより、テキストデータに加えて画像データを用いたモデルのカスタマイズが可能になり、画像認識能力の向上を目指せます。 従来、テキストデータのみのファインチューニングでは限界があった多くのタスクにおいて、大幅な性能向上が期待できます。

具体的な手順は、テキストデータのファインチューニングと同様です。適切なフォーマットで画像データセットを用意し、OpenAIプラットフォームにアップロードするだけです。わずか100枚程度の画像でも効果が見られ、データ量を増やすことでさらに精度を高められます。データフォーマットはドキュメントを参照ください。

既に、Grab、Automat、Coframeといった企業が本機能を活用し、実用的な成果を上げています。Grabは道路標識認識や車線数の検出精度を向上させ、Automatは業務自動化における成功率を大幅に改善、Coframeはウェブサイトのデザイン生成における一貫性を高めました。これらの事例は、画像データを用いたファインチューニングが様々な分野で大きな可能性を秘めていることを示しています。

セキュリティとプライバシーについては、OpenAIは自動化された安全評価を実施し、利用状況を監視することで、利用規約の遵守を確保しています。また、企業プライバシーへのコミットメントに基づき、ファインチューニングされたモデルとビジネスデータはユーザーが完全に所有・管理します。OpenAIは、ユーザーの明示的な許可なく、このサービスで使用された入力や出力をモデルの学習に使用することはありません。

本機能は、有料プランの開発者全員が利用可能です。2024年10月31日までは1日あたり100万トレーニングトークンが無料で提供されますが、それ以降は料金が発生します(トレーニング：100万トークンあたり25ドル、推論：入力100万トークンあたり3.75ドル、出力100万トークンあたり15ドル)。画像入力はサイズに基づいてトークン化され、テキスト入力と同じトークンレートで課金されます。詳細な料金体系はAPI価格ページを参照ください。

GPT-4oの最新モデルスナップショット(gpt-4o-2024-08-06)で利用可能です。ファインチューニングダッシュボードから簡単に開始できます。 使い方の詳細については、OpenAIのドキュメントをご確認ください。

引用元: https://openai.com/index/introducing-vision-to-the-fine-tuning-api/

マイクロソフトは、全ての人々のためのAIコンパニオン「Copilot」を発表しました。Copilotは単なるツールではなく、ユーザーの生活を支援し、人間らしさを豊かにするAIアシスタントを目指しています。技術的な詳細に囚われるのではなく、ユーザーの体験を重視し、より穏やかで役に立つ、そして支えとなるテクノロジーを目指しているとのことです。

Copilotの主な機能は以下の通りです。

  • パーソナルアシスタント機能: ユーザーの生活状況を理解し、プライバシーとセキュリティを保護しながら、様々なタスクを支援します。予定の計画、医者への同行、メモ取り、子どもの誕生日パーティーの準備など、多岐に渡る場面で役立ちます。ユーザーの行動パターンを学習し、時間と共に個々のニーズに合わせた機能を提供します。

  • Copilot Voice: 音声による自然なインタラクションを可能にします。アイデア出し、簡単な質問、日々のストレス発散など、様々な用途に使用できます。複数の音声オプションも用意されています。

  • Copilot Daily: 朝のニュースや天気予報を要約して提供します。情報過多を防ぎ、簡潔で分かりやすい情報を提供します。Reuters、Axel Springerなど信頼できる情報源からのみ情報を取得します。

  • Copilot Discover: Copilotの機能や会話の開始方法を案内し、使い始めるのを容易にします。ユーザーの許可を得て、Microsoftサービスとのやり取りに基づいてパーソナライズされます。

  • Copilot in Microsoft Edge: Microsoft Edgeブラウザに統合され、質問への回答、ページ内容の要約、テキスト翻訳、文章の書き換えなどを迅速に行えます。アドレスバーに「@copilot」と入力するだけで簡単にアクセスできます。

  • Copilot Labs: 開発中の実験的機能を試せる場です。「Copilot Vision」と「Think Deeper」が初期機能として提供されます。

  • Copilot Vision: ユーザーが見ているものを認識し、リアルタイムで対話できます。Webページのテキストと画像を理解し、質問に答えたり、次のステップを提案したりします。

  • Think Deeper: より複雑な質問への詳細な回答をステップバイステップで提供します。都市への引っ越しや車の選択など、複雑な意思決定を支援します。

Copilotは、iOS、Android、ウェブ、Windows、WhatsAppなどで利用可能になります。 プライバシーとセキュリティを最優先事項としており、Copilot Visionセッションのデータはセッション終了時に完全に破棄されます。 Copilotは現在開発中であり、今後さらに機能が追加・改善される予定です。マイクロソフトは、ユーザーからのフィードバックを重視し、責任あるAI開発を継続していくことを強調しています。

引用元: https://blogs.microsoft.com/blog/2024/10/01/an-ai-companion-for-everyone/

OpenAI DevDay 2024で発表された新機能「プロンプト自動作成機能」を試してみました。この機能は、目的を簡潔に記述するだけで、大規模言語モデル(LLM)向けのシステムプロンプトを自動生成します。 試した結果、曖昧な指示からもmarkdown形式でプロンプトを作成してくれるため、プロンプト作成のたたき台として非常に有用であることが分かりました。

具体的には、「猫のような口調で話す人生相談占い師」という指示から、ステップ、出力形式、例、補足事項を網羅したプロンプトを生成しました。生成されたプロンプトはmarkdown形式で構成されており、出力形式もmarkdownに影響を受ける傾向があります。 実際にチャットを試したところ、猫口調で回答が得られましたが、初期設定で指定した「占い師」要素は反映されていませんでした。これは、生成されたプロンプトを修正・調整することで改善できる点です。

さらに、出力形式をJSON形式に指定して感情分析を試みました。 「一文ずつ感情分析を行い、JSON形式で出力する」という指示でプロンプトを作成し、実際に文章を入力したところ、感情分析自体は正しく行われましたが、出力形式がmarkdown形式と混在した形になりました。これは、プロンプト自体がmarkdown形式であることが原因と考えられます。

画像を読み込ませるプロンプト生成も試しました。「入力されたグラフ画像を読み取り、今日の日報を作成する」という指示でプロンプトを生成し、実際に画像を入力したところ、画像内のテキストは正しく認識され、生産ラインの日報が作成されました。ただし、グラフ画像自体は日報に反映されませんでした。

これらの結果から、このプロンプト自動作成機能は、プロンプト作成の初期段階で効率的にプロンプトを作成するのに役立ちますが、生成されたプロンプトは必ずしも完璧ではなく、必要に応じて修正・調整が必要であることが分かりました。 また、出力形式の指定は、プロンプトの内容にも影響を受ける可能性があるため注意が必要です。 少ない労力でプロンプトのひな型を作成できるため、特に新人エンジニアにとって、LLMを活用した開発を始める上での強力なツールとなるでしょう。 既存のGPTsによるプロンプト作成と比較しても、Few-shot学習の設定も自動で行ってくれるため、より高度な制御が必要な場合に有効です。

引用元: https://qiita.com/ayoyo/items/301ade3c66a2aa9d5e63

このまとめは、Twitter上で「ゆゆ式」というアニメ作品に関するツイートをまとめたものです。投稿者は、過労で死にかけていた時に「ゆゆ式」を見て救われた経験があり、その作品に神格化していたそうです。しかし、数年後に奥さんに勧めたところ、「何が面白いのかわからない」と言われ、改めて見直したところ、自分自身も面白さがわからなくなっていたという話です。

この話に対して、他のユーザーからは、「深夜アニメは染みる」「疲れた時に見ると癒される」「日常系アニメは現実逃避になる」などの共感の声が寄せられています。また、「作品が悪いのではなく、自分の変化によるもの」という意見や、「ゆゆ式の面白さを理屈で説明するのは難しい」というコメントもあります。

まとめには、関連するツイートや、関連するまとめへのリンクも含まれています。

引用元: https://togetter.com/li/2444085

（株式会社ずんだもんは架空の登場組織です）