macau0123の海外Big Techニュース

自動機械学習

学習アルゴリズムを使って新しい機械学習技術やソリューションを開発すること、もしくはメタ学習は、非常に活発でエキサイティングな研究分野です。これまでの私達の研究では、人の手で設計された洗練されたコンポーネントをいかに面白い方法で組み合わせるかを考える検索空間を作ってきました。「AutoML-Zero: Evolving Code that Learns」では、それとは異なるアプローチで、非常にプリミティブな演算（足し算、引き算、変数の代入、行列の乗算など）で構成された探索空間を進化的アルゴリズムに与え、現代の機械学習アルゴリズムをゼロから進化させることができるかどうかを検証しました。この空間では、有用な学習アルゴリズムの存在が非常に希薄であるため、徐々に高度な機械学習アルゴリズムを進化させていくことができたのは注目に値します。下の図に示すように、このシステムは、線形モデル、勾配降下法、整流線形単位、効果的な学習率の設定と重みの初期化、勾配の正規化など、過去30年間に発見された最も重要な機械学習の多くを再発明しています。





私達はまた、メタ学習を用いて、静止画と動画の両方における物体検出のための様々な新しい効率的なアーキテクチャを発見しました。昨年の「効率的な画像分類アーキテクチャのためのEfficientNet」の研究では、画像分類の精度の大幅な向上と計算コストの削減を実現しました。それに続く今年の研究では、EfficientDet: Towards Scalable and Efficient Object Detection（スケーラブルで効率的な物体検出を目指して）がEfficientNetの成果を基に、物体の検出と定位のための新しい効率的なアーキテクチャを導き出し、最高の絶対精度と、所定の精度を達成するための従来のアプローチに比べて13〜42倍の計算コストの削減という顕著な改善を示しました。

EfficientDetは、同じ設定のCOCO test-devにおいて、従来の技術水準（3045B FLOPsのため図示せず）から1.5ポイント上昇し、最先端の52.2mAPを達成します。同じ精度の制約の下で、EfficientDetのモデルは以前の検出器よりも4倍から9倍小さく、13倍から42倍少ない計算量で済みます。





私達のSpineNetの研究では、空間情報をより効果的に保持し、より細かい解像度での検出を可能にするメタ学習されたアーキテクチャを説明しています。我々はまた、様々なビデオ分類問題に有効なアーキテクチャの学習にも注力しています。
AssembleNet: 映像アーキテクチャにおけるマルチストリーム神経接続性の探索」、「AssembleNet++: AssembleNet: Searching for Multi-Stream Neural Connectivity in Video Architectures」、「AssembleNet++: Assembling Modality Representations via Attention Connections」、「AttentionNAS: Spatiotemporal Attention Cell Search for Video Classification」は、進化的アルゴリズムを用いて、最新の映像処理機械学習アーキテクチャを構築する方法を示しています。





このアプローチは、時系列予測のための効果的なモデル・アーキテクチャの開発にも利用できます。「Using AutoML for Time Series Forecasting」では、多くの興味深い種類の低レベルのビルディング・ブロックを含む検索空間上の自動検索を介して新しい予測モデルを発見するシステムについて説明しており、その有効性はKaggle M5 Forecasting Competitionにおいて、5,558人の参加者のうち138位（上位2.5%）に入るアルゴリズムとシステムを生成することで実証されました。競合他社の予測モデルの多くは、作成に何ヶ月もの手作業を必要としますが、私達の自動機械学習ソリューションは、中程度の計算コスト（500CPUで2時間）のみで、人手を介さずに短時間でモデルを見つけ出しました。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html