macau0123の海外Big Techニュース

この広告は30日以上更新がないブログに表示されております。
新規記事の投稿を行うことで、非表示にすることが可能です。

グーグルリサーチ：　アルゴリズムの基礎と理論　2021年1月12日�M

2020年は、アルゴリズムの基礎と理論に関する私達の研究にとって、いくつかのインパクトのある研究発表や注目すべき結果が得られ、実り多い年となりました。最適化の分野では、エッジ・ウェイト・オンライン二者択一マッチングに関する論文で、オンライン競争アルゴリズムのための新しい手法を開発し、効率的なオンライン広告割当に応用できるエッジ・ウェイト・バリアントの30年来の未解決問題を解決しました。このオンライン・アロケーションの研究と並行して、多様性や公平性の制約が追加された様々なモデルに一般化するデュアルミラー降下法を開発し、オンライン・スケジューリング、オンライン学習、オンライン線形最適化における機械学習アドバイスを含むオンライン最適化のトピックに関する一連の論文を発表しました。また、別の研究成果では、密なグラフにおける古典的な二部構成のマッチングを50年ぶりに改善しました。最後に、別の論文では、凸体をオンラインで追いかけるという長年の未解決問題を、『The Book』のアルゴリズムを使って解決しました。

私達はまた、スケーラブルなグラフ・マイニングとグラフ・ベースの学習に関する研究も継続して行い、NeurIPS'20では、Graph Mining & Learning at Scale Workshopを開催し、グラフ・クラスタリング、グラフ・エンベッディング、因果推論、グラフ・ニューラル・ネットワークなど、スケーラブルなグラフ・アルゴリズムに関する研究を紹介しました。このワークショップの一環として、私達は、MapReduceのような標準的な同期計算フレームワークをBigTableのような分散ハッシュ・テーブルで補強することにより、いくつかの基本的なグラフ問題を理論的にも実際的にもより速く解決する方法を示しました。私達の広範な実証研究は、階層型クラスタリングと連結成分の大規模並列アルゴリズムにおける分散ハッシュ・テーブルの使用にヒントを得たAMPCモデルの実用的な妥当性を検証し、理論的な結果は、これらの問題の多くを一定の分散ラウンドで解く方法を示し、私達の以前の結果を大幅に改善しました。また、PageRankやランダムウォークの計算においても、指数関数的な高速化を達成しました。グラフ・ベースの学習の面では、機械学習で使用するグラフを設計するためのフレームワークであるGraleを発表しました。さらに、よりスケーラブルなグラフ・ニューラル・ネットワーク・モデルに関する研究を紹介し、PageRankを使ってGNNでの推論を大幅に高速化できることを示しました。





コンピュータ・サイエンスと経済学が交差する分野であるマーケット・アルゴリズムでは、広告オークションのインセンティブ特性の測定、両面市場、広告選択における注文統計の最適化など、私達はより良いオンライン市場を設計するための研究を続けています。繰り返しオークションの分野では、現在の市場や将来の市場の予測や推定の誤りに対して動的メカニズムが頑健になるようなフレームワークを開発し、証明可能なほどタイトで低後悔の動的メカニズムを実現しました。また、幾何学的な基準を用いて、どのような場合に漸近的に最適な目的を達成できるのかを明らかにしました。また、実際に使用されている様々な予算管理戦略の均衡結果を比較し、収益と買い手の効用の間のトレードオフへの影響を示し、そのインセンティブ特性に光を当てました。さらに、最適なオークション・パラメータの学習に関する研究を継続し、収益損失を伴うバッチ・ラーニングの複雑さを解決しました。また、最適な後悔を設計し、文脈に沿ったオークション価格設定のための組み合わせ最適化を研究し、オークションのための新しい能動学習フレームワークを開発し、公示価格オークションの近似値を改善しました。最後に、広告オークションにおけるインセンティブの重要性に触発され、広告主がオークションにおけるインセンティブの影響を研究するのに役立つことを期待して、メカニズムがインセンティブの互換性からどれだけ逸脱しているかを定量化するデータ駆動型の指標を紹介します。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

グーグル・リサーチ：　機械学習アルゴリズムとモデルの理解　2021年1月12日�L

機械学習のアルゴリズムやモデルをより深く理解することは、より効果的なモデルを設計・学習したり、モデルが失敗する可能性を理解したりする上で非常に重要です。昨年は、表現力、最適化、モデルの一般化、ラベル・ノイズなどに関する基本的な問題に焦点を当てました。この記事の冒頭で述べたように、トランスフォーマー・ネットワークは、言語、音声、視覚の問題のモデル化に大きな影響を与えていますが、これらのモデルが表現する機能のクラスはどのようなものでしょうか？最近、私達は、トランスフォーマーが配列対配列の関数の普遍的な近似器であることを示しました。さらに、疎なトランスフォーマーは、トークン間の線形数の相互作用だけを使用する場合でも、普遍的な近似器のままです。私達は、トランスフォーマーの収束速度を向上させるために、層別適応学習率に基づく新しい最適化技術を開発しています。例えば、Large batch optimization for deep learning (LAMB、深層学習のための大規模一括最適化)などです。76分でBERTを学習します。





ニューラル・ネットワークをより広く、より深くすると、多くの場合、より速く学習し、よりよく一般化します。古典的な学習理論では、大きなネットワークはよりオーバー・フィットするはずなので、これは深層学習の核心的な謎です。私達は、このオーバー・パラメータ化された領域におけるニューラル・ネットワークの理解に取り組んでいます。無限の幅の限界では、ニューラル・ネットワークは驚くほどシンプルな形になり、ニューラル・ネットワーク・ガウス過程（NNGP）またはニューラル・タンジェント・カーネル（NTK）で記述されます。私達は、この現象を理論的・実験的に研究し、無限幅のニューラル・ネットワークを構築・学習するためのJAXで書かれたオープンソースのソフトウェア・ライブラリ「Neural Tangents」を公開しました。

左：深層ニューラル・ネットワークが無限幅になると単純な入出力マップになることを示す模式図。右：ニューラル・ネットワークの幅が大きくなると、ネットワークの異なるランダムなインスタンスにおける出力の分布がガウス型になることがわかります。

有限幅のネットワークを大きくすると、幅が大きくなるにつれて、一般化が良くなったり、悪くなったり、また良くなったりする特異な二重下降現象が見られます。私達は、この現象が新しいバイアス・分散分解によって説明できることを示し、さらに、三重降下として現れることもあることを示しました。

最後に、実世界の問題では、しばしば大きなラベル・ノイズを扱う必要があります。例えば、大規模な学習シナリオでは、弱いラベルのデータが大量にあり、大きなラベル・ノイズがあります。私達は、深刻なラベル・ノイズから効果的な監視を抽出するための新しい技術を開発し、最先端の結果を得ました。さらに、ランダムなラベルを用いてニューラル・ネットワークを学習することの効果を分析し、ネットワークのパラメータと入力データの間に整合性を持たせることで、ゼロから初期化するよりも高速に下流の学習を行うことができることを示しました。また、ラベル・スムージングやグラジエント・クリッピングがラベル・ノイズを軽減できるかどうかといった問題についても検討し、ノイズの多いラベルに対してロバストな学習技術を開発するための新たな知見を得ました。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

自動機械学習

学習アルゴリズムを使って新しい機械学習技術やソリューションを開発すること、もしくはメタ学習は、非常に活発でエキサイティングな研究分野です。これまでの私達の研究では、人の手で設計された洗練されたコンポーネントをいかに面白い方法で組み合わせるかを考える検索空間を作ってきました。「AutoML-Zero: Evolving Code that Learns」では、それとは異なるアプローチで、非常にプリミティブな演算（足し算、引き算、変数の代入、行列の乗算など）で構成された探索空間を進化的アルゴリズムに与え、現代の機械学習アルゴリズムをゼロから進化させることができるかどうかを検証しました。この空間では、有用な学習アルゴリズムの存在が非常に希薄であるため、徐々に高度な機械学習アルゴリズムを進化させていくことができたのは注目に値します。下の図に示すように、このシステムは、線形モデル、勾配降下法、整流線形単位、効果的な学習率の設定と重みの初期化、勾配の正規化など、過去30年間に発見された最も重要な機械学習の多くを再発明しています。





私達はまた、メタ学習を用いて、静止画と動画の両方における物体検出のための様々な新しい効率的なアーキテクチャを発見しました。昨年の「効率的な画像分類アーキテクチャのためのEfficientNet」の研究では、画像分類の精度の大幅な向上と計算コストの削減を実現しました。それに続く今年の研究では、EfficientDet: Towards Scalable and Efficient Object Detection（スケーラブルで効率的な物体検出を目指して）がEfficientNetの成果を基に、物体の検出と定位のための新しい効率的なアーキテクチャを導き出し、最高の絶対精度と、所定の精度を達成するための従来のアプローチに比べて13〜42倍の計算コストの削減という顕著な改善を示しました。

EfficientDetは、同じ設定のCOCO test-devにおいて、従来の技術水準（3045B FLOPsのため図示せず）から1.5ポイント上昇し、最先端の52.2mAPを達成します。同じ精度の制約の下で、EfficientDetのモデルは以前の検出器よりも4倍から9倍小さく、13倍から42倍少ない計算量で済みます。





私達のSpineNetの研究では、空間情報をより効果的に保持し、より細かい解像度での検出を可能にするメタ学習されたアーキテクチャを説明しています。我々はまた、様々なビデオ分類問題に有効なアーキテクチャの学習にも注力しています。
AssembleNet: 映像アーキテクチャにおけるマルチストリーム神経接続性の探索」、「AssembleNet++: AssembleNet: Searching for Multi-Stream Neural Connectivity in Video Architectures」、「AssembleNet++: Assembling Modality Representations via Attention Connections」、「AttentionNAS: Spatiotemporal Attention Cell Search for Video Classification」は、進化的アルゴリズムを用いて、最新の映像処理機械学習アーキテクチャを構築する方法を示しています。





このアプローチは、時系列予測のための効果的なモデル・アーキテクチャの開発にも利用できます。「Using AutoML for Time Series Forecasting」では、多くの興味深い種類の低レベルのビルディング・ブロックを含む検索空間上の自動検索を介して新しい予測モデルを発見するシステムについて説明しており、その有効性はKaggle M5 Forecasting Competitionにおいて、5,558人の参加者のうち138位（上位2.5%）に入るアルゴリズムとシステムを生成することで実証されました。競合他社の予測モデルの多くは、作成に何ヶ月もの手作業を必要としますが、私達の自動機械学習ソリューションは、中程度の計算コスト（500CPUで2時間）のみで、人手を介さずに短時間でモデルを見つけ出しました。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

グーグル・リサーチ：　強化学習　2021年1月12日�J

限られた経験から長期的に良い判断をすることを学習する強化学習（RL）は、私達にとって重要な焦点となっている分野です。強化学習の重要な課題は、少ないデータ・ポイントから意思決定を学習することです。私達は、固定データ・セットからの学習、他のエージェントからの学習、探索の改善により、強化学習アルゴリズムの効率を改善してきました。

ふとんクリーナーのパイオニア［レイコップ公式オンラインストア］
とりあえず、見てください！
【レイコップ】安心の2年保障は公式ストアだけ！


今年の主な焦点は、オフライン強化学習にあります。オフライン強化学習は、過去に収集された固定のデータセット（例えば、以前の実験や人間によるデモンストレーションから得られたもの）のみに依存し、リアルタイムでトレーニング・データを収集できないアプリケーションに強化学習を拡張します。私達は、強化学習に二元性アプローチを導入し、オフ・ポリシー評価、信頼区間の推定、オフライン・ポリシー最適化のための改良されたアルゴリズムを開発しました。さらに、オープン・ソースのベンチマーク・データや、AtariのDQNデータを公開することで、これらの問題に取り組むために幅広いコミュニティと協力しています。

もう一つの研究は，見習い学習によって他のエージェントから学ぶことで，サンプルの効率を向上させるものです。情報を持ったエージェントからの学習、他のエージェントの分布とのマッチング、敵対的な例からの学習などの手法を開発しました。強化学習での探索を改善するために、ボーナス・ベースの探索方法を研究しています。これには、環境についての事前知識を持つエージェントに生じる構造化された探索を模倣する技術が含まれます。





また、強化学習の数学的理論にも大きな進歩がありました。私達の主な研究分野の1つは、強化学習を最適化プロセスとして研究することでした。私達は、フランク・ウルフ・アルゴリズム、モメンタム法、KLダイバージェンス正則化、作用素理論、収束分析などとの関連を発見しました。これらの洞察により、強化学習の困難なベンチマークで最先端の性能を達成するアルゴリズムや、多項式伝達関数が強化学習と教師付き学習の両方でソフト・マックスに関連する収束問題を回避することを発見しました。安全な強化学習というテーマでは、実験上の重要な制約を尊重しながら最適な制御ルールを発見するというエキサイティングな進展がありました。これには、安全なポリシー最適化のためのフレームワークも含まれています。モバイル・ネットワークから電力網まで、多数の意思決定者が存在するシステムをモデルとする平均場ゲームと呼ばれる問題群を解くための効率的な強化学習ベースのアルゴリズムを研究しました

私達は、複雑な現実世界の問題に強化学習をスケール・アップするための重要な課題である、新しいタスクや環境への一般化に向けたブレークスルーを実現しました。2020年の重点分野は、集団ベースのLearning-to-Learn法で、別の強化学習エージェントや進化的エージェントが強化学習エージェントの集団を訓練して、差し迫った複雑さを持つカリキュラムを作成し、新しい最先端の強化学習アルゴリズムを発見しました。トレーニング・セット内のデータ・ポイントや視覚入力の一部の重要性を選択的に推定する学習を行った結果、強化学習エージェントのスキルが格段に向上しました。

水まわりのトラブルに緊急駆けつけ【水のトラブル救急車】


AttentionAgentの手法とデータ処理の流れの概要。上段「入力の変換」 - スライディングウィンドウを用いて入力画像を小さなパッチに分割し、後の処理のために「平坦化」しています。中段「パッチの選択」：自己注目モジュールがパッチ間の投票を行い、パッチの重要度を表すベクトルを生成します。下段「アクションの生成」： AttentionAgentは、最も重要なパッチを選び、それに対応する特徴を抽出し、それに基づいて判断を下します。さらに、モデル・ベース強化学習では、予測行動モデルの学習が強化学習の学習を加速させ、多様なチームでの分散型協調マルチ・エージェント・タスクや、長期的な行動モデルの学習を可能にすることを示し、進歩を遂げました。スキルが環境に予測可能な変化をもたらすことを観察し、監督なしでスキルを発見します。より良い表現は強化学習の学習を安定させ、階層的な潜在空間と価値向上経路はより良いパフォーマンスをもたらします。

私達は、強化学習のスケール・アップや生産化のためのオープンソース・ツールを共有しました。ユーザーが取り組む範囲や問題を拡大するために、超並列強化学習エージェントであるSEEDを導入し、強化学習アルゴリズムの信頼性を測定するためのライブラリをリリースし、分散強化学習、TPUサポート、バンディット・アルゴリズムのフルセットを含むTF-Agentsの新バージョンをリリースしました。さらに、強化学習アルゴリズムの大規模な実証研究を行い、ハイパー・パラメータの選択やアルゴリズムの設計を改善しました。

最後に、Loon社とのコラボレーションにより、成層圏の気球をより効率的に制御するための強化学習のトレーニングと配備を行い、電力使用量とナビゲート能力の両方を改善しました。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

機械学習アルゴリズム

私達は、新しい機械学習アルゴリズムと学習のためのアプローチの開発を続けています。これにより、より少ない教師データからシステムがより速く学習できるようになります。ニューラル・ネットワークの学習中に中間結果を再生することで、機械学習アクセラレータのアイドル・タイムを埋めることができ、ニューラル・ネットワークの学習を高速化できることがわかりました。また、学習中にニューロンの接続性を動的に変化させることで、静的に接続されたニューラル・ネットワークと比較して、より良い解を見つけることができます。また、同じ画像の異なる変換ビュー間の一致を最大化し、異なる画像の変換ビュー間の一致を最小化することを同時に行う、新しい自己教師付き・半教師付き学習手法であるSimCLRを開発しました。この手法は、最も優れた自己教師付き学習技術を大幅に改善しています。

私達はまた、コントラスト学習のアイデアを教師ありの領域に拡張し、その結果、教師ありの分類問題においてクロス・エントロピーを大幅に改善する損失関数を得ました。

言語翻訳

効果的な言語翻訳は、異なる言語を話しているにもかかわらず、すべての人がコミュニケーションを取れるようにすることで、世界をより身近なものにします。現在までに、世界中で10億人以上の人々がグーグル翻訳を利用しており、昨年は新たに5つの言語（キンヤルワンダ語、オディア語、タタール語、トルクメン語、ウイグル語、合計7,500万人が使用している言語）のサポートを追加しました。翻訳品質は改善を続けており、2019年5月から2020年5月までに100以上の言語で平均+5 BLEUポイントの向上を示し、モデルアーキテクチャとトレーニングの改善、データセット内のノイズの取り扱いの改善、多言語転送とマルチタスク学習の改善、低リソース言語（ウェブ上の公開コンテンツがあまり書かれていない言語）を改善するための単言語データの活用の改善など、さまざまなテクニックを駆使して、可能な限り多くの人にメリットを提供するために機械学習システムの「機械学習の公平性」を改善するという私達の目標に直接沿ったものとなっています。





私達は、多言語翻訳モデルのスケーリングを継続することで、特に世界中の数十億人の低リソース言語を話す人々にさらなる品質向上をもたらすと確信しています。GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding（条件付き計算と自動シャーディングを用いた巨大モデルのスケーリング）では、グーグルの研究者は、最大6,000億個のパラメータでまばらに動作する多言語翻訳モデルを学習することで、100言語の翻訳品質が、各言語について個別の400Mパラメータの単言語ベースラインモデルのベースラインよりもBLEUスコアで大幅に改善されることを示しました。本研究では、3つの傾向が際立っており、以下に再現された論文の図6に示されています（完全な議論は論文を参照）。





多言語トレーニングによるBLEUスコアの改善は、すべての言語で高いが、世界で最も周縁化されたコミュニティに住む何十億人もの人々の話者がいる低リソース言語（グラフの右側が左側よりも高い）では、さらに高くなっています。図の各矩形は、話者数が10億の言語を表しています。モデルが大きくて深いほど、すべての言語でBLEUスコアの改善が大きくなっています（線が交差することはほとんどありません）。

また、大規模でまばらなモデルは、大規模で密なモデルを学習するよりもモデル学習の計算効率が10倍から100倍向上し、同時に大規模で密なモデルのBLEUスコアと一致したり、大幅に上回ったりします（計算効率は論文で議論されています）。

GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding（条件付き計算と自動シャーディングを用いた巨大モデルのスケーリング）に記載されている、大規模で疎活性化された言語モデルの100言語にわたる翻訳品質の大幅な向上の例。





私達は、このGShard研究で実証された利点をグーグル翻訳に反映させることに積極的に取り組んでいます。また、ディベヒ語やスーダンのアラビア語などの言語を含む1,000の言語をカバーする単一モデルをトレーニングしています（途中で解決が必要な課題を共有しながら）。

私達はまた、BERTモデルのための文の言語にとらわれない表現を作成する技術を開発し、より良い翻訳モデルの開発に貢献しました。翻訳品質をより効果的に評価するために、翻訳のようなタスクのための言語生成を評価するための新しいメトリックであり、下の表に示すように、グランドトゥルースデータとの単語の重なりの量だけではなく、生成されたテキストのセマンティクスを考慮したBLEURTを導入しました。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

自然言語理解

言語のより良い理解は、今年大きな進展が見られた分野です。この分野でのグーグルやその他の研究の多くは、もともと言語問題のために開発された特定のスタイルのニューラル・ネットワーク・モデルであるトランスフォーマーに依存しています（しかし、画像、ビデオ、スピーチ、タンパク質の折りたたみ、その他の様々な分野でも有用であるという証拠が増えてきています）。






興奮する分野の一つは、興味のあることについてユーザーとチャットすることができる対話システムで、多くの場合、複数回のやり取りを含みます。この分野でのこれまでの成功例としては、特定のトピックに特化したシステム（例：Duplex）がありますが、これらのシステムでは一般的な会話を行うことはできません。2020年には、よりオープン・エンドな対話が可能なシステムを作るという一般的な研究目標を達成するために、私達は意欲的に何でも話せる学習型会話エージェントMeenaを開発しました。MeenaはSSAと呼ばれる対話システムの応答の感度と特異性の両方を測定する指標で高いスコアを達成しています。Meenaのモデル・サイズをスケールアップすると、より低いパープレクシティ（困惑）を達成することができ、論文で示されているように、パープレクシティ（困惑）の低下はSSAの改善と非常に密接に相関していることがわかりました。


＜コロナ環境下で健康に気を使われたい方に＞





生成的言語モデルと対話システムのよく知られた問題の一つは、事実に基づいたデータを議論するときに、モデルの能力がトピックについてのすべての特定の詳細を記憶するのに十分ではない場合があり、そのため、もっともらしいが不正確な言語を生成してしまうということです（これは機械に限ったことではなく、人間もこのようなエラーを犯すことがあります）。対話システムでこの問題に対処するために、我々は会話エージェントに外部の情報源（例えば、大規模な文書の集積や検索エンジンのAPI）へのアクセスを与えて会話エージェントを増強する方法を模索し、検索されたテキストと一致する言語を生成するための追加リソースとして、これを利用する学習技術の開発も行っています。この分野の研究には、検索を言語表現モデルに統合することが含まれています（これをうまく機能させるための重要な基礎技術は、テキストの集積内の情報と目的の情報を効率的に一致させるための効率的なベクトル類似性検索であるScaNNのようなものです）。適切なコンテンツが見つかれば、ニューラル・ネットワークを使って表の中から答えを見つけたり、テンプレート化された文書から構造化データを抽出したりするなどのアプローチで、よりよく理解することができます。抽象的なテキスト要約のための最先端モデルであるPEGASUSに関する私達の研究は、会話や検索システムなど様々な場所で有用な一般的な技術である、任意のテキストからの自動要約の作成にも役立ちます。


＜コロナ環境下での安心生活に＞




NLPモデルの効率化もまた、2020年の私達の研究の重要な焦点でした。転移学習やマルチタスク学習のような技術は、一般的なNLPモデルを適度な計算量で新しいタスクで使えるようにするのに劇的に役立ちます。この分野の作業には、T5での転移学習の探索、モデルのスパース活性化（後述のGShardの作業のように）、ELECTRAによるより効率的なモデルの事前訓練などがあります。基本的なTransformerのアーキテクチャを改善しようとする作業もいくつかあります。その中には、より効率的に大きな注目ウィンドウをサポートするために、ローカリティに依存したハッシュと可逆計算を使用するReformer、2次的ではなく線形的にスケーリングする注目のアプローチを使用するPerformers、（タンパク質モデリングの文脈での使用について述べています）、大規模で構造化されたシーケンスの線形スケーリングを可能にするために、大域的でスパースなランダム接続を利用するETCとBigBirdなどがあります。また、大規模なBERTモデルよりも100倍小さいが、いくつかのタスクではほぼ同等の性能を発揮する、非常に軽量なNLPモデルを作成するための技術についても模索しました。Encode, Tag and Realize では、完全に一般的なテキスト生成ではなく編集操作を使用する生成的テキスト・モデルのための新しいアプローチも模索しました。これらは、生成のための計算要件、生成されたテキストに対するより多くの制御、およびより少ないトレーニング・データを必要とするという利点を持つことができます。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

責任あるAI

Google AI Principles（グーグルAI原則） は、私達の高度な技術開発の指針となっています。私達は、責任あるAI研究とツールへの投資を継続し、この分野での推奨技術実践を更新し、2020年のブログ記事とレポートを含む定期的な更新情報を共有して、実施の進捗状況を確認しています。

言語モデルの動作をよりよく理解するために、私達は言語モデルの解釈性を向上させるためのツールキットである言語解釈性ツール(LIT)を開発し、言語モデルの意思決定の対話的な探索と分析を可能にしました。私達は、事前に訓練された言語モデルにおける性別相関を測定する技術と、グーグル翻訳における性別バイアスを低減するためのスケーラブルな技術を開発しました。私達は、カーネル法を用いて、学習データの例が個々の予測に与える影響を推定する簡単な方法を提案しました。非専門家が機械学習の結果を解釈するのに役立つように、私達は、2019年に導入されたTCAV技法を拡張し、現在では概念の完全かつ十分なセットを提供するようになりました。元々のTCAV作業では、「毛皮」と「長い耳」が「うさぎ」の予測にとって重要な概念であると言うことができました。この作業では、この2つの概念だけで十分に予測を説明することができ、他の概念は必要ないと言えます。概念ボトルネック・モデルとは、あるタスクの最終予測を行う前に、あらかじめ定義された専門家の概念（例：「骨棘がある」、「翼の色」など）とレイヤーの1つが一致するようにモデルを訓練することで、解釈するだけでなく、これらの概念をその場でオン/オフできるようにするために、モデルをより解釈しやすくするための手法です。





予測を事前に特定された概念に合わせることで、概念ボトルネック・モデルで説明されているように、モデルをより解釈しやすくすることができます。また、私達は他の多くの機関と共同で、言語モデルの暗記効果についても調査し、訓練データ抽出攻撃が最先端の大規模言語モデルに対する現実的な脅威であることを示しました。この発見は、モデルを埋め込むことで情報が漏洩する可能性があるという結果とともに、（特にプライベート・データで訓練されたモデルに対して）プライバシーに重大な影響を及ぼす可能性があります。「セサミ・ストリートの泥棒たち： BERTベースのAPIでのモデル抽出」では、言語モデルへのAPI アクセスのみを持つ攻撃者が、元のモデルへの比較的少ないAPIクエリであっても、元のモデルと非常に高い相関関係を持つ出力を持つモデルを作成できることを実証しました。その後の研究では、攻撃者が任意の精度でより小さなモデルを抽出できることを実証しました。AI安全性の原則について、私達は13の公開されている敵対的な例に対する防御策が、適応攻撃を用いて評価を行おうとしたにもかかわらず回避できることを実証しました。私達の研究は、適応攻撃を実行するために必要な方法論とアプローチを明らかにすることに焦点を当てており、その結果、コミュニティはより堅牢なモデルを構築するための更なる進歩を遂げることができるでしょう。





機械学習システム自体を審査する方法を検討することも重要な研究分野です。Partnership on AI （AIに関するパートナーシップ）と共同で、私達は、航空宇宙、医療機器、金融業界からの教訓とそのベスト・プラクティスに基づいて、ソフトウェア製品の設定における機械学習の使用を監査する方法のためのフレームワークを定義しました。トロント大学およびマサチューセッツ工科大学との共同研究では、顔認識システムのパフォーマンスを監査する際に発生する可能性のあるいくつかの倫理的な懸念事項を特定しました。ワシントン大学との共同研究では、アルゴリズムの公平性を評価するためのサブ・セットを選択する際に、多様性と包括性に関連した重要な考慮事項をいくつか確認しました。次の10億人のユーザーのために責任あるAIを実現するための最初のステップとして、また、世界のさまざまな地域で公平性の概念が一貫しているかどうかを理解するために、データセット、公平性の最適化、インフラストラクチャ、エコシステムを考慮に入れて、インドにおけるアルゴリズムの公平性のためのフレームワークを分析して作成しました。





2019年にトロント大学と共同で導入されたモデル・カードの研究が影響力を増しています。実際、OpenAIのGPT-2やGPT-3、グーグルのMediaPipeモデルの多く、さまざまなGoogle Cloud APIのような有名なモデルの多くは、機械学習モデルのユーザーにモデルの開発状況や、さまざまな条件でのモデルの観測された挙動についてより多くの情報を与える方法として、すべてモデル・カードを採用しています。また、これを他の人が自分の機械学習モデルに採用しやすくするために、モデルの透明性の報告を容易にするためのモデル・カード・ツール・キットも導入しました。機械学習開発実践の透明性を高めるために、データ要求仕様やデータ受け入れテストを含むデータ・セット開発ライフ・サイクル全体を通して、さまざまなベスト・プラクティスの適用可能性を実証しています。

私達は、米国国立科学財団(NSF)と共同で、人間とAIの相互作用とコラボレーションのための国立AI研究所を発表し、その資金援助を行いました。また、機械学習モデルを訓練する際の不公平なバイアスを効果的かつ効率的に緩和するためのTFモデル修復ライブラリで利用可能な新しい正則化手法であるMinDiffフレームワークと、機械学習ベースの意思決定システムを社会環境に展開することによる長期的な潜在的影響を探る簡単なシミュレーションを構築するためのML-fairness gymをリリースしました。





公平性のためのフレームワークの開発に加えて、強化学習を利用してより安全な軌道を導入するなど、レコメンダー・システムの健全性や体験の質を特定し、向上させるためのアプローチを開発しました。また、機械学習システムの信頼性向上にも引き続き取り組んでおり、敵対的な例を生成するなどのアプローチが堅牢性を向上させることや、堅牢性のアプローチが公平性を向上させることができることを確認しています。

差分プライバシーは、プライバシー保護を正式に定量化する方法であり、特定の個人に関する情報が漏洩しないように動作するための最も基本的なアルゴリズムを再考させます。特に、差分プライバシーは、上述したような記憶効果や情報漏洩への対処に役立ちます。2020年には、プライベートな経験的リスク最小化器のより効率的な計算方法から、タイトな近似保証を持つプライベートなクラスタリング手法、プライベートなスケッチ・アルゴリズムまで、多くのエキサイティングな開発が行われました。また、実数の浮動小数点表現による漏洩を防ぐために、内部ツールの中核となる差分プライバシー・ライブラリもオープンソース化しています。これらは、研究者や政策立案者にとって匿名データの貴重なソースとなっているCOVID-19モビリティ・レポートを差分的にプライベートに作成するために使用しているツールと全く同じものです。





開発者が分類モデルのプライバシー特性を評価するのに役立つように、私達はTensorflowで機械学習プライバシー・テスト・ライブラリをリリースしました。このライブラリが、世界中の機械学習開発者が利用できる堅牢なプライバシー・テスト・スイートの出発点となることを願っています。

CIFAR10のモデルに対するメンバーシップ推論攻撃。x軸はモデルのテスト精度、y軸は脆弱性スコア（低いほどプライベート性が高い）。テスト精度は変わらず、脆弱性は大きくなっています。一般化を進めればプライバシーの漏洩を防ぐことができます。





プライベート・アルゴリズムの開発における最先端の技術を推進することに加えて、プライバシーを製品に織り込んだことによる進歩にも興奮しています。その最たる例がクローム のプライバシー・サンドボックスで、広告エコシステムの基盤を変え、個人のプライバシーを体系的に保護するのに役立ちます。プロジェクトの一環として、私達は、関心に基づいたターゲティングのためのグループの連合学習（FLoC）や、差分的にプライベートな測定のための集約APIなど、さまざまなAPIを提案し、評価しました。

2017年に開始された連合学習は、現在ではそれ自体が完全な研究分野となっており、2020年だけでも3,000以上の連合学習に関する論文が登場します。2019年に発表した私達の機関横断的な調査論文「Advances and Open Problems in Federated Learning」は、過去1年間で367回引用されており、近日中に更新版が「Foundations & Trends in Machine Learning」シリーズに掲載される予定です。7月には、Federated Learning and Analyticsのワークショップを開催し、全研究講演とTensorFlow Federatedチュートリアルを公開しました。

私達は、適応学習アルゴリズム、事後平均化アルゴリズム、連合設定で集中型アルゴリズムを模倣する技術を含む新しい集合的最適化アルゴリズムの開発、無料の暗号プロトコルの大幅な改善など、連合学習の最先端を推進し続けています。私達は、ユーザーのデバイスにローカルに保存されている生データ上でのデータ・サイエンスを可能にする、連合分析を発表し展開しました。グーグル製品における連合学習の新たな用途としては、Gboardでの文脈に沿った絵文字の提案、Google Health Studiesでのプライバシー保護のための医療研究の開拓などが挙げられます。さらに、Privacy Amplification via Random Check-Insでは、Federated Learning（連合学習）のための初のプライバシー会計メカニズムを発表しました。





ユーザーのセキュリティも、私達にとって大きな関心事です。2020年には、悪意のある文書に対する保護を提供する新しい機械学習ベースの文書スキャナを導入することで、Gmailユーザーの保護を改善し続け、悪意のあるオフィス文書の検出率を日常的に10%増加させました。一般化する能力のおかげで、このツールは、他の検出メカニズムを逃れたいくつかの敵対的なマルウェア・キャンペーンをブロックするのに非常に効果的で、私達の検出率を一部のケースで150%増加させました。

アカウント保護の面では、完全にオープンソース化されたセキュリティ・キーのファームウェアをリリースし、二要素認証の分野での技術の進歩を支援し、フィッシングからアカウントを保護するための最良の方法としてセキュリティ・キーに焦点を当てています。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

機械学習の他分野への応用

機械学習は、科学の多くの分野での進歩を支援する上で不可欠であることが証明され続けています。2020年には、HHMI Janelia Research CampusのFlyEMチームと共同で、脳組織の高解像度電子顕微鏡イメージングに適用された大規模な機械学習モデルを用いて再構築された、脳の接続性の大規模なシナプス解像度マップであるショウジョウバエのヘミブレイン・コネクトームを公開しました。このコネクトーム情報は、神経科学者の様々な研究を助け、脳がどのように機能しているかの理解を深めるのに役立ちます。とても格好良いインタラクティブな3D UIをぜひご覧ください！





システム生物学の問題への機械学習の応用も増えてきています。グーグルのAccelerated Science（加速科学）チームは、Calico の同僚と共同で、酵母に機械学習を適用して、遺伝子がシステム全体としてどのように機能しているかをよりよく理解できるようにしています。また、DNAやタンパク質のような生物学的配列を設計するためにモデルベースの強化学習を利用して、医療や工業用途に望ましい特性を持つものを設計する方法も研究しています。モデルベースの強化学習は、サンプルの効率を向上させるために使用されます。実験の各ラウンドでは、前のラウンドの機能測定値にフィットしたシミュレータを使用して、オフラインでポリシーを学習します。DNA転写因子結合部位の設計、抗菌性タンパク質の設計、タンパク質構造に基づいたイジング模型のエネルギーの最適化などの様々なタスクにおいて、モデルベース強化学習が既存の手法の魅力的な代替手段であることがわかります。

また、X-Chem Pharmaceuticals社およびZebiAI社と共同で、有望な分子化合物のバーチャル・スクリーニングを計算機的に行う機械学習技術の開発も行っています。これまでのこの分野の研究では、比較的小さな関連化合物の集合に焦点を当ててきましたが、本研究では、DNAでコード化された低分子ライブラリを用いて、化学空間の広い範囲での「ヒット」を一般化し、アイデアから実用的な医薬品へと発展させるための、時間のかかる物理的なラボ作業を減らすことができるようにしていきたいと考えています。





また、機械学習をコアとなるコンピュータ・サイエンスやコンピュータ・システムの問題に応用することにも成功しており、MLSys（機械学習とシステム）のような新しいカンファレンスが生まれつつある傾向が強まっています。「Learning-based Memory Allocation for C++ Server Workloads （C++サーバ・ワークロードのための学習ベースのメモリ割り当て）」では、ニューラル・ネットワーク・ベースの言語モデルが、コンテキスト依存の割り当てごとのサイト・オブジェクトのライフサイクル情報を予測し、これを利用してヒープを整理してフラグメンテーションを減らします。このモデルは、巨大なページ（TLBの動作に適している）のみを使用しながら、フラグメンテーションを最大78%削減することができます。「End-to-End, Transferable Deep RL for Graph Optimization（グラフ最適化のためのエンドツーエンドの移転可能な深層強化学習）」では、計算グラフ最適化のためのエンドツーエンドの移転可能な深層強化学習手法を説明し、TensorFlowのデフォルト最適化と比較して、3つのグラフ最適化タスクで33%〜60%の高速化を示し、以前の計算グラフ最適化手法と比較して15倍の収束を示しました。





「深層強化学習を用いたチップ設計」でも述べられているように、私達はコンピュータのチップ設計における配置配線の問題にも強化学習を適用しています。これは通常、非常に時間と労力のかかるプロセスであり、チップのアイデアから実際に完全に設計されたチップが製造されるまでに時間がかかる大きな理由となっています。従来の手法とは異なり、私達のアプローチは過去の経験から学び、時間をかけて改善していく能力を持っています。特に、より多くのチップ・ブロックを学習することで、これまで見えなかったチップ・ブロックの最適な配置を迅速に生成することができるようになります。このシステムは通常、人間のチップ設計の専門家よりも優れた配置を生成することができ、私達はこのシステム（TPU上で動作）を使用して、将来の世代のTPUの大部分の配置とレイアウトを行っています。「Menger」は大規模な分散型強化学習のために最近構築したインフラストラクチャで、チップ設計のような難しい強化学習タスクに対して有望な性能を発揮しています。

オープンソースのRISC-Vプロセッサである「Ariane」のマクロ配置。左側は、ポリシーをゼロからトレーニングし、右側は、事前にトレーニングしたポリシーをこのチップ用に微調整しています。各長方形は個々のマクロ配置を表しています。ゼロからの学習で発見された非マクロ・ロジックセルが占める空洞が、事前学習済みポリシーの配置では最初から存在していることに注目してください。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

アクセシビリティ

機械学習は、ある種の感覚入力を他のものに変換することを学習できるため、アクセシビリティを向上させるための驚くべき機会を提供し続けています。その一例として、私達はLookoutというアンドロイドのアプリケーションをリリースしました。これは、食料品店や自宅のキッチンの食器棚にあるパッケージされた食品を識別することで、視覚障害を持つユーザーを支援することができます。Lookout の背後にある機械学習システムは、強力でありながらもコンパクトな機械学習モデルが、約 200 万点の製品をリアルタイムで携帯端末上で識別できることを実証しています。





同様に、手話でコミュニケーションをとる人は、手話をしていても音声ベースの話者検出システムでは能動的に話しているとは検出されないため、ビデオ会議システムを利用することが難しいと感じています。「ビデオ会議のためのリアルタイム自動手話検出」の開発は、リアルタイム手話検出モデルを提示し、手話者を能動的な話者として識別するメカニズムをビデオ会議システムに提供するためにどのように使用できるかを実証しています。





私達はまた、大切な家の音の音声アクセスやサウンド通知など、アンドロイドの便利なアクセシビリティ機能を実現しました。

Live Captionは、電話やビデオ通話のキャプション機能を備えたピクセル・スマートフォンでの通話をサポートするために拡張されました。これは、聴覚障害者や難聴者が支援なしで通話を行うことができるLive Relay研究プロジェクトから生まれたものです。

英語原文はこちら
https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html