【7日目成果】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析: Udemyで技術習得！気の向くままにのんびりと

アフィリエイト広告を利用しています

広告

posted by fanblog

<< 【6日目成果】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析 | TOP | 【8日目成果】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析 >>

2019年09月19日

【7日目成果】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析

進捗70%(+5%)

Decision Tree&RandomForestsのプロジェクト演習完了。
できたはできたが、模範解答とは違ったが。そろそろ、習ったことだけでなく、
それをきっかけに、ライブラリの詳細をドキュメントで見ていく必要があるのかなあ。
理論の知識も充実していく必要がありそう。

K-means Clusteringのセクションへ入った。
K-means Clustring(K平均法）はクラスタリングのアルゴリズムだ。与えられたＫ個にクラスタへ分類を行う。
処理の流れは

１、featureの取り出し
２、シード設定
３、クラスタリング実行
４、コスト計算、中心計算

といった流れだ。
教師なしのアルゴリズムであるため、クラスタリング実行の際は、元データを学習データ、テストデータへ振り分ける処理は必要がない。
この部分が今まで習った機械学習と大きく異なる点だ。
また、距離の概念が入るため、扱うのは数値になるので、StringIndexerとかは必要なさそうだ。
その分、コードもシンプルになるので、簡単に感じる。

このコースへのリンク
Spark and Python for Big Data with PySpark

全般ランキング

タグ：機械学習

【このカテゴリーの最新記事】

posted by peter3q at 23:59| Comment(0) | TrackBack(0) | SparkとpythonでBig Data解析

この記事へのコメント

コメントを書く

この記事へのトラックバックURL
https://fanblogs.jp/tb/9216443
※ブログオーナーが承認したトラックバックのみ表示されます。

この記事へのトラックバック

検索

最新記事

(12/12)Udemy安くなっています！(12/14まで)
(05/19)Pythonでファイナンス分析の勉強（その６）
(05/18)Udemy最大セール中(-5/27)
(05/16)Pythonでファイナンス分析の勉強（その５）
(05/15)Pythonでファイナンス分析の勉強（その４）
(05/10)Pythonでファイナンス分析の勉強（その３）
(05/09)Pythonでファイナンス分析の勉強（その２）

タグクラウド

opencv Python SQL Unity 機械学習

カテゴリーアーカイブ

Udemy(7)
Gitでチーム開発(6)
SQLを学ぶ(8)
SparkとpythonでBig Data解析(12)
ブロックチェーンと仮想通貨(17)
pythonで画像認識(13)
データサイエンス(14)
c#(30)
AWS(12)
pythonでファイナンス分析(7)

月別アーカイブ

2021年12月(1)
2021年05月(9)
2019年12月(19)
2019年11月(30)
2019年10月(33)
2019年09月(31)
2019年08月(3)

プロフィール

peter3qさんの画像

peter3q

エンジニアとして働いている40代の会社員です。仕事でメインに使用している言語はC/C++です。プライベートでは、大学生の息子と中学生の娘がいて、週末、料理をし、毎年、梅シロップを付けています。

プロフィール

RDF Site Summary

×

この広告は30日以上新しい記事の更新がないブログに表示されております。