【9日目成果】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析: Udemyで技術習得！気の向くままにのんびりと

2019年09月21日

【9日目成果】英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析

進捗91%(+10%)

この講座も佳境になってきた。
NLPのより実践的なコードの学習が終わると最後のセクションのSpark Streamingの学習となる。
NLPの学習だが、週末のごたごたもあり、なかなか思い通りに進んでいない。
コードの内容は理解しているのだが、自分でコードを書くところがイマイチ集中できなくて進まない。
Token分割などたいして難しいわけでもないのだが。。。
早く、次のブロックチェーンの勉強に入りたい！

とりあえず、気晴らしに前のチャプターを見返すとAWSのEC2、Databricks,AWS EMR Clusterの部分が未完了となっていることに気づいた。
今回、VirtualBoxを使って学習を行っているので飛ばしたところだ。
これらを完了状態して、何とか進捗は91%を確保した。

蛇足だが、この講座はVirtual BoxでUbuntuを動作させ、Ubuntu上でpysparkのコードを実行して受講を進めている。
しかし、このVirtual Boxの動作が不安定で高い頻度でゲストOSのUbuntuがフリーズするため、定期的にゲストOSの電源をリセットしながら進めている。
だから、余計に時間がかかったり、集中力を下げる原因になっている。

この状態を解消するため、Windowsでも環境を作りたいところだが、Ubuntuはver.17から64bitのみのリリースになっているが、残念ながら私のPC環境ではCPUが古すぎるため、64bitOSのVirtualBox仮想環境を作ることができない、ということが分かった。

さいわい、今、消費税増税前のセールでPCが叩き売られている。
よい機会なので購入をした。
（ただし、現在在庫切れにつき、いつ納品されるかわからない状態だが）

このコースへのリンク
Spark and Python for Big Data with PySpark