私立ずんだもん女学園放送部 podcast 20260703
内容紹介
Kimi K2.7 Code is generally available in GitHub Copilot、Introducing TabFM: A zero-shot foundation model for tabular data、Scaling Laws, Carefully、meow — Purrs like a kitten. Runs like Rust.
出演者
youtube版(スライド付き)
関連リンク
GitHub Copilotにおいて、新たにオープンウェイトモデル「Kimi K2.7 Code」が利用可能になりました。今回のアップデートの重要なポイントを、新人エンジニアの方にも分かりやすく解説します。
【概要】 Kimi K2.7 Codeは、GitHub Copilotのモデル選択肢として初めて導入された「オープンウェイトモデル」です。これにより、開発者は自身のワークフローやコスト感に合わせて、最適なAIモデルを柔軟に選べるようになりました。本モデルはMicrosoft Azure上でホストされています。
【主な制約と導入状況】
- ロールアウトの段階的展開: 現在、Copilot Pro、Pro+、Maxプラン向けに順次提供が開始されています。今後数週間かけて、BusinessやEnterpriseプランへも対象が拡大される予定です。
- Business/Enterpriseでの利用: 企業向けプランではデフォルトで「オフ」に設定されています。組織内で利用するためには、管理者側でポリシー設定を有効にする必要があります。導入を検討する際は、組織のセキュリティやデータガバナンス要件に適合しているか確認することが推奨されています。
- 利用料金: 従量課金制(プロバイダーのリスト価格に基づく)となっておりますので、利用時には公式の料金ドキュメントを確認してください。
今回の追加により、GitHub Copilotは単一のモデルに依存せず、タスクの内容に応じてモデルを使い分ける「モデル選択の時代」へとさらに一歩踏み出しました。新しい技術を積極的に試し、自身の開発スタイルに合ったモデルを見つけていくことが、これからのエンジニアには求められます。
引用元: https://github.blog/changelog/2026-07-01-kimi-k2-7-is-now-available-in-github-copilot/
TabFMは、表データ(Tabular data)に対して「ゼロショット学習」を可能にする新しい基盤モデルです。従来の機械学習(XGBoostなど)では、データセットごとに膨大な時間をかけてハイパーパラメータ調整や特徴量エンジニアリングを行う必要がありましたが、TabFMはこのプロセスを大幅に効率化します。
主な特徴と仕組み:
- インコンテキスト学習(ICL)の採用: 従来のモデルのような再学習を行わず、入力データ(履歴とテスト対象)をそのままプロンプトとしてモデルに渡すことで、単一のフォワードパスで予測が完結します。
- ハイブリッドなAttention構造: 表データの「2次元的かつ順序に依存しない」性質に対応するため、行と列の両方に交互に注目するアテンション機構を採用しています。これにより、複雑な特徴量間の関係性を自動的に抽出可能です。
- 合成データによる大規模事前学習: 実データには機密情報が含まれることが多いため、構造的因果モデル(SCM)を用いて生成した数億件規模の合成データセットで事前学習を行い、高い汎化性能を実現しました。
新人エンジニアにとって特に注目すべき点は、これまで「職人芸」に近い調整が必要だった表形式データへの予測タスクが、AIの力によって標準的なワークフローに統合されつつある点です。今後はGoogle BigQueryへの統合も予定されており、SQLから直接モデルを呼び出すような、より直感的な予測分析が一般化していくことが期待されます。
引用元: https://research.google/blog/introducing-tabfm-a-zero-shot-foundation-model-for-tabular-data/
深層学習における「スケーリング則(Scaling Laws)」は、モデルサイズ、データセットサイズ、計算リソース(Compute)の増加に伴い、損失(Loss)が予測可能な形で減少するという経験則です。本記事では、この法則の歴史と進化を解説しています。
初期の研究では、損失がべき乗則(Power Law)に従うことが示されました。その後、Kaplanら(2020)はTransformerモデルにおける計算効率の最適化を提案しましたが、Hoffmannらによる「Chinchilla Scaling Laws(2022)」がこれを刷新しました。Chinchillaは、モデルサイズだけでなく学習トークン数も同様の比率で増やすことが、固定計算予算下で最適であると結論づけています。
また、近年の課題である「データ不足(Data-constrained)」環境におけるスケーリング則についても触れられています。データが有限で繰り返し学習を行う場合、モデルサイズや繰り返し回数が損失に悪影響を与えるため、それらを考慮した新しい定式化が必要です。
実務上の注意点として、スケーリング則の予測は小規模なモデルでの実験に基づく外挿であるため、精度や計算手法のわずかな差異が最終的な予測に大きな誤差を生むリスクがあります。エンジニアは、スケーリング則が「万能な絶対値」ではなく、実験の前提や環境に依存する「慎重に取り扱うべき予測モデル」であることを理解しておく必要があります。
引用元: https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
「meow」は、ランタイム、パッケージ管理、テスト、lintなどを一つに統合した、Rust製の高速なJS/TSランタイムです。Oxcパーサーを採用し、コードを一度解析するだけで全ツールを駆動させることで圧倒的なパフォーマンスを実現します。設定不要でnpmと互換性があり、Next.js等の既存環境もそのまま動作可能です。猫のような可愛らしいUXで、JS開発の断片化を解消することを目指しています。
引用元: https://meow.style/
VOICEVOX:ずんだもん