新規記事の投稿を行うことで、非表示にすることが可能です。
2019年09月23日
【まとめ】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析
英語版のUdemy講座、"Spark and Python for Big Data with PySpark"の受講を完了したので最初に立てた目標の達成具合、自己評価や、コースをやり終えての感想をまとめる。
目次
１、受講前のゴールイメージとスケジュールの確認２、講義に関して
３、残念なポイント
３、次回に受講に生かしたいこと。教訓とか
受講前のゴールイメージとスケジュールの確認
■受講前のゴールイメージとスケジュールの確認
・環境設定が一通り操作ができる→〇
・Spark, PySparkを用いた解析ロジックを説明できる→〇
・Spark, PySparkを用いて解析を行える→〇
・Spark, PySpark, MLibを用いて機械学習のプログラムを作成できる→〇
・Sparkでの自然言語処理を説明できる→△
おおむね、イメージした通り、マスターできたと思う。自然言語処理とStreamの処理に関してはまだ勉強の余地あり。
■スケジュール
- 10日程度で完了するつもりで受講をする。→10日で完了
大体、1日10%（動画1時間くらい）を目標に進められた。
■良かった点、難しかった点
・良かった点：
・環境準備の部分は1日にたくさんするめることができた。
・一部辛い時期もあったがおおむね計画通りに進められた。
・難しかった点：
・講義の中盤の中だるみが辛い
・講義の山場の後半は逆に目標の1日10%進めるのが難しかった。
・開発環境が不十分でVirtualboxの取り回しに時間を要してしまった。
・環境構築でつまずくとやたらと時間がかかってしまう。
1日1時間動画＋コーディングは負荷的にそこそこ妥当な気がする。
■講義に関して
・英語
・全体的には特に問題なし。
・集中力が低くなっていると頭に入らないので注意。中盤、後半は何度か講義を聞きなおした。
・内容
・機械学習に関してそこそこ自信を持てるようになった気がする。sparkメインのつもりだったので想定外だが非常に良かった。
・結構高度であったが、まず初めの１つ目を丁寧にマスターしたおかげでその後も同じパターンの繰り返しが多くスムーズに進められた。
・プロジェクト演習は非常に良かった。これをやる直前にいったん知識の定着の確認をして臨んだため、結果もそれなりにできて達成感も味わえた。
・かの有名なタイタニックのデータ解析ができたのがうれしかった。
・講座のQAが充実しているのでつまずいたところを調べるのに重宝した。
■残念なポイント
・Twitterのプロジェクトが中途半端な状態
・タイタニックの解析をもっと使ってほしかった。このアルゴリズムでやればもっと良くなるとか。
・詰まった場合に自分で独自に調査をしたが、結局ＱＡに書いてあった。
・自分のPC環境いまいち
・AWS EC2,DataBricksとか他の環境を触れられなかった。
■次回に受講に生かしたいこと。教訓とか
・VirtualBoxにあった十分な開発環境での受講→ＰＣ購入済
・完全にマスターする必要があるところでは立ち止まってでも十分、コード書きの練習もしてマスターしてから進む（深い理解のために）
・手を動かして実際にコードを書く。動画を見て頭で理解しただけでは不十分。
・コードサマリを作り、これをもとにコードの再現を行う。復習の時も使える。
・疲れているときはさっさと寝る。特に英語の講義は眠いとまったく頭に入らない。
・1日動画1時間で全体スケジュールを見積もる。受講の際は前倒しで進める。辛いときは無理しない（理解度が下がるので）。
・やり残し、心残りの部分を書き留めてリベンジをしたい。
このコースへのリンク
Spark and Python for Big Data with PySpark
全般ランキング
