株式会社ずんだもん技術室AI放送局 podcast 20240905
内容紹介
AIやテクノロジーに関する記事を紹介 Announcing The Assistant Kagi Blog、CUDA-Free Inference for LLMs、ChatGPTでGASスクリプトを出力させ、難しい作業を自動化する手順【AIワークハック】、通りすがりの工事現場の予定案内に描かれていたとても可愛らしい猫のイラストが話題になるも→｢かなり描き慣れているうえに測量の知識もある...何者？｣
出演者
関連リンク
Kagiは、AIを検索体験に統合し、よりスマートで高速で直感的な検索を実現しました。Kagi Assistantは、ユーザーデータの収集、広告、トラッキングを行わない、ユーザーフレンドリーなAIアシスタントです。
主な機能は以下の通りです。
- Kagiの高品質な検索結果との連携
- OpenAI、Anthropic、Googleなど、主要なLLMモデルの選択
- カスタム指示、モデル選択、検索やインターネットアクセスなどのツールを含む、強力なカスタムアシスタントの作成
- 会話を最初からやり直すことなく、スレッドの編集や分岐が可能
- すべてのスレッドはデフォルトでプライベートであり、ユーザーのデータはモデルのトレーニングに使用されません。
Kagi Assistantは、Kagi Searchを使用して最高品質の情報を提供し、最新の事実情報に基づいた応答を生成します。「スパム」や「広告目的で作成された」サイトを独自のランキングアルゴリズムとユーザーの検索パーソナライズで無視します。
さらに、コーディング、情報検索、問題解決、ブレインストーミング、クリエイティブライティングなど、様々なLLMアプリケーションに最適なモデルを選択できます。モデルは必要に応じていつでも切り替えることができ、最新のモデルが利用可能になるとすぐに使用できます。また、モデルにウェブアクセスを許可するか、または「raw」モードで使用するかも選択できます。
Kagi Assistantは、ユーザーのニーズに合わせてカスタマイズされたアシスタントを作成することも可能です。例えば、クラシックカーのオーナーであれば、自分の車の修理やメンテナンスに関するアドバイスを得るためのカスタムアシスタントを作成できます。
また、LLMの応答に誤りや不備があった場合でも、スレッドを編集したり、分岐して質問を修正したりすることができます。これにより、より正確で詳細な回答を得ることが可能になります。
Kagiはユーザーのプライバシーを重視しており、スレッドはデフォルトで24時間後に自動的に削除されます。ユーザーデータはモデルのトレーニングに使用されることはありません。
Kagi Assistantは、Kagi Ultimateプランに含まれており、月額25ドルで利用可能です。
Kagiは、LLMを検索に統合し、ユーザーに最高の検索体験を提供することに注力しています。Kagi Assistantは、その取り組みの一環として開発された、革新的なAIアシスタントです。新人エンジニアの皆さんも、ぜひKagi Assistantを試して、その便利さを実感してください。
引用元: https://blog.kagi.com/announcing-assistant
本ブログでは、Triton言語のみを用いて、Llama3-8BやGranite-8Bなどの大規模言語モデル（LLM）のFP16推論を実現した方法について解説しています。Tritonは、NVIDIA、AMD、そして将来的にはIntelなどの様々なGPUアクセラレータ上でLLMを実行するための道筋を提供する、PythonベースのGPUプログラミング用抽象化レイヤーです。
目的は、ベンダー固有のAPIを使用せずに、高性能なGPUカーネルをより迅速に作成し、LLMを様々なGPU上で動作させることです。
実現方法としては、Triton言語で記述したカスタムカーネルとtorch.compile（Tritonオペレーションを生成するPyTorch機能）を活用しています。具体的には、RMSNorm、RoPE、SiLU、Element Wise Multiplicationなどの小さなオペレーションはtorch.compileで自動生成されたTritonカーネルに置き換え、より複雑な行列積やFlash Attentionなどの演算は手書きのTritonカーネルに置き換えています。
課題として、TritonカーネルはCUDAカーネルと比較して、行列積（GEMM）やFlash Attentionの性能が劣ることが挙げられます。TritonのGEMMカーネルはCUDAのcuBLAS GEMMよりも1.2～1.4倍遅く、TritonのFlash AttentionカーネルはCUDAのcuDNN Flash Attentionよりも1.6倍遅いです。
今後の展望としては、H100のTMAユニット活用やStreamKなどの持続的なカーネル手法を用いたワーク分解などにより、TritonベースのGEMMカーネルの性能向上を目指します。また、FlexAttentionやFlashAttention-3といった、ハードウェアをより効率的に活用する手法をFlash Attentionカーネルに適用することで、CUDAとの性能差を縮小する予定です。さらに、FP8推論についても検討していく予定です。
本研究では、Triton言語を用いることで、LLMの推論をCUDAに依存せずに行う可能性を示しました。Tritonは、LLMのアクセラレータの選択肢を広げる上で重要な役割を果たすと期待されます。ただし、Tritonカーネルの性能向上は今後の課題であり、さらなる研究開発が必要となります。
引用元: https://pytorch.org/blog/cuda-free-inference-for-llms/
この記事では、ChatGPTを使ってGoogle Apps Script（GAS）のスクリプトを生成し、Google Workspaceのアプリ連携を自動化する方法を紹介します。GASはGoogleが提供するスクリプト言語で、スプレッドシートのデータ処理やメール自動返信など、様々な作業を自動化できますが、プログラミング初心者にはハードルが高い場合があります。
そこで、ChatGPTを活用することで、GASのコードを自動生成し、スプレッドシートとGoogleカレンダーを連携させることができます。
具体的には、ChatGPTにスプレッドシートのタスクリストをカレンダーに反映させるためのGASスクリプト作成を指示します。ChatGPTは、タスク情報（タスク名、優先度、所要時間、期限）を取得し、スケジュールを計算してカレンダーに追加するコードを生成します。
生成されたコードをスプレッドシートのApps Scriptエディタに貼り付け、スプレッドシートにタスク情報を入力すると、ChatGPTが作成したGASスクリプトが自動でタスクをカレンダーに登録します。
この例のように、ChatGPTはGASのコーディングを支援することで、エンジニアの負担を軽減し、Google Workspaceの機能を最大限に活用する道を開きます。新人エンジニアの方でも、ChatGPTを活用すれば、複雑なコーディング作業を効率化し、業務の自動化に挑戦できます。ぜひ、今回の内容を参考に、ChatGPTとGASで日々の業務を改善してみてください。
引用元: https://www.lifehacker.jp/article/2409-chatgpt-gas/
Twitterで、工事現場の予定表に描かれた猫のイラストが話題になっています。そのイラストは非常に可愛らしく、しかも絵の腕前がかなり高く、測量に関する知識も反映されていることから、誰が描いたのか注目を集めています。
イラストは、一見すると現場作業員が描いたように思えますが、その高い画力と測量機器や測量方法の描写の正確さから、専門的な知識を持つ人物が描いた可能性が高いと推測されています。
ネット上では、イラストレーターや漫画家、あるいは発掘調査などに関わる専門家などが描いたのではないかと話題になっています。特に、測量機器の描写の正確さから、測量士や土木設計などに携わる人が描いた可能性も指摘されています。
この可愛らしい猫のイラストは、工事現場という普段見慣れない場所で発見されたことや、高い画力と専門知識が感じられることから、多くの人々の関心を集め、話題となっています。イラストを描いた人物の特定は、まだされていませんが、今後も注目されることでしょう。
引用元: https://togetter.com/li/2429128
（株式会社ずんだもんは架空の登場組織です）