2021年03月13日
グーグル・リサーチ: 機械学習アルゴリズム 2021年1月12日⑩
機械学習アルゴリズム
私達は、新しい機械学習アルゴリズムと学習のためのアプローチの開発を続けています。これにより、より少ない教師データからシステムがより速く学習できるようになります。ニューラル・ネットワークの学習中に中間結果を再生することで、機械学習アクセラレータのアイドル・タイムを埋めることができ、ニューラル・ネットワークの学習を高速化できることがわかりました。また、学習中にニューロンの接続性を動的に変化させることで、静的に接続されたニューラル・ネットワークと比較して、より良い解を見つけることができます。また、同じ画像の異なる変換ビュー間の一致を最大化し、異なる画像の変換ビュー間の一致を最小化することを同時に行う、新しい自己教師付き・半教師付き学習手法であるSimCLRを開発しました。この手法は、最も優れた自己教師付き学習技術を大幅に改善しています。
私達はまた、コントラスト学習のアイデアを教師ありの領域に拡張し、その結果、教師ありの分類問題においてクロス・エントロピーを大幅に改善する損失関数を得ました。



私達は、新しい機械学習アルゴリズムと学習のためのアプローチの開発を続けています。これにより、より少ない教師データからシステムがより速く学習できるようになります。ニューラル・ネットワークの学習中に中間結果を再生することで、機械学習アクセラレータのアイドル・タイムを埋めることができ、ニューラル・ネットワークの学習を高速化できることがわかりました。また、学習中にニューロンの接続性を動的に変化させることで、静的に接続されたニューラル・ネットワークと比較して、より良い解を見つけることができます。また、同じ画像の異なる変換ビュー間の一致を最大化し、異なる画像の変換ビュー間の一致を最小化することを同時に行う、新しい自己教師付き・半教師付き学習手法であるSimCLRを開発しました。この手法は、最も優れた自己教師付き学習技術を大幅に改善しています。
私達はまた、コントラスト学習のアイデアを教師ありの領域に拡張し、その結果、教師ありの分類問題においてクロス・エントロピーを大幅に改善する損失関数を得ました。


【このカテゴリーの最新記事】
-
no image
-
no image
-
no image
-
no image
-
no image
この記事へのコメント
コメントを書く
この記事へのトラックバックURL
https://fanblogs.jp/tb/10595822
※ブログオーナーが承認したトラックバックのみ表示されます。
この記事へのトラックバック