【まとめ】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析: Udemyで技術習得！気の向くままにのんびりと

2019年09月23日

【まとめ】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析

英語版のUdemy講座、"Spark and Python for Big Data with PySpark"の受講を完了したので最初に立てた目標の達成具合、自己評価や、コースをやり終えての感想をまとめる。

１、受講前のゴールイメージとスケジュールの確認
２、講義に関して
３、残念なポイント
３、次回に受講に生かしたいこと。教訓とか

受講前のゴールイメージとスケジュールの確認

■受講前のゴールイメージとスケジュールの確認
・環境設定が一通り操作ができる→〇
・Spark, PySparkを用いた解析ロジックを説明できる→〇
・Spark, PySparkを用いて解析を行える→〇
・Spark, PySpark, MLibを用いて機械学習のプログラムを作成できる→〇
・Sparkでの自然言語処理を説明できる→△

おおむね、イメージした通り、マスターできたと思う。自然言語処理とStreamの処理に関してはまだ勉強の余地あり。

■スケジュール

10日程度で完了するつもりで受講をする。→10日で完了

大体、1日10%（動画1時間くらい）を目標に進められた。

■良かった点、難しかった点
・良かった点：
　・環境準備の部分は1日にたくさんするめることができた。
　・一部辛い時期もあったがおおむね計画通りに進められた。

・難しかった点：
　・講義の中盤の中だるみが辛い
　・講義の山場の後半は逆に目標の1日10%進めるのが難しかった。
　・開発環境が不十分でVirtualboxの取り回しに時間を要してしまった。
　・環境構築でつまずくとやたらと時間がかかってしまう。

1日1時間動画＋コーディングは負荷的にそこそこ妥当な気がする。

■講義に関して

・英語
　・全体的には特に問題なし。
　・集中力が低くなっていると頭に入らないので注意。中盤、後半は何度か講義を聞きなおした。

・内容
　・機械学習に関してそこそこ自信を持てるようになった気がする。sparkメインのつもりだったので想定外だが非常に良かった。
　・結構高度であったが、まず初めの１つ目を丁寧にマスターしたおかげでその後も同じパターンの繰り返しが多くスムーズに進められた。
　・プロジェクト演習は非常に良かった。これをやる直前にいったん知識の定着の確認をして臨んだため、結果もそれなりにできて達成感も味わえた。
　・かの有名なタイタニックのデータ解析ができたのがうれしかった。
　・講座のQAが充実しているのでつまずいたところを調べるのに重宝した。

■残念なポイント

・Twitterのプロジェクトが中途半端な状態
・タイタニックの解析をもっと使ってほしかった。このアルゴリズムでやればもっと良くなるとか。
・詰まった場合に自分で独自に調査をしたが、結局ＱＡに書いてあった。
・自分のPC環境いまいち
・AWS EC2,DataBricksとか他の環境を触れられなかった。

■次回に受講に生かしたいこと。教訓とか

・VirtualBoxにあった十分な開発環境での受講→ＰＣ購入済
・完全にマスターする必要があるところでは立ち止まってでも十分、コード書きの練習もしてマスターしてから進む（深い理解のために）
・手を動かして実際にコードを書く。動画を見て頭で理解しただけでは不十分。
・コードサマリを作り、これをもとにコードの再現を行う。復習の時も使える。
・疲れているときはさっさと寝る。特に英語の講義は眠いとまったく頭に入らない。
・1日動画1時間で全体スケジュールを見積もる。受講の際は前倒しで進める。辛いときは無理しない（理解度が下がるので）。
・やり残し、心残りの部分を書き留めてリベンジをしたい。

このコースへのリンク
Spark and Python for Big Data with PySpark