新規記事の投稿を行うことで、非表示にすることが可能です。
2019年09月13日
【1日目成果] 英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析
進捗27％
順調に進んでいる。
といっても、ほとんどは環境のセットアップとPythonの基礎の復習だ。
演習環境解いてVirtualbox、AWS EC2、DataBricksの3つを用意している。
今回は、最も簡単なVirtualboxで環境を構築して、いったん講座を完了しようと思っている。
Pythonはデータ操作の復習でPandasやNumpyをやるわけではない。本当の巨大なビックデータではこれらのライブラリは使えないのだそうだ。だからPythonの基礎の部分のみのおさらいのため、あっという間に終わる。
英語に関しても前回と同様の講師はJoseさんなので、特に難しいことはない。このように英語のでの講座選択をする場合は、一人良い講師を見つけたら、その人の講座を集中的に受講すると効率が良いのでおすすめだ。
このコースへのリンク
Spark and Python for Big Data with PySpark
全般ランキング
タグ：Python
2019年09月12日
英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析
はじめに
ビックデータの解析や活用が盛んな昨今、データ処理のスピードも求められるようになってきている。
そんな時に有望なのが今回勉強するApache Sparkである。Apache Sparkは Google, Facebook, Netflix, Airbnb, Amazon, NASAでビックデータの課題を解決に使用されており、 Hadoop MapReduceの約100倍で処理を行うことができる。
解析対象のデータが爆発的に増大していく中、最も注目される技術の1つである。
この講座ではクラウドプラットフォームであるAWSやDataBricks上でプログラミング言語としてpythonを用いて学習を進めることができる最先端の講座である。
講座名:
・Spark and Python for Big Data with PySpark
このコースの受講動機：
・最新のビックデータ解析ライブラリの知識習得
・スケーラブルなクラウド解析環境の構築の機械学習
・実践的なビックデータ解析演習による経験値積み上げ
このコース完了の際のゴールイメージ
・環境設定が一通り操作ができる
・Spark, PySparkを用いた解析ロジックを説明できる
・Spark, PySparkを用いて解析を行える
・Spark, PySpark, MLibを用いて機械学習のプログラムを作成できる
・Sparkでの自然言語処理を説明できる
コース詳細の紹介
・レクチャー数と時間
・66レクチャー、10.5時間のビデオ
・言語
・英語（英語字幕あり）
・内容要約
・最新のSpark2.0とpythonを使ったBigData解析
・AWSサービス（EC2,Elastic Map Reduce)、DataBrickを用いた環境構築
・模擬プロジェクトを使った演習
・MLibを用いた機械学習
・Sparkと自然言語処理を用いたスパムフィルタの作成
・Spark Streamを用いたツィートのリアルタイム解析
・受講に際しての前提条件
・プログラミング言語の知識、好ましくはpythonの知識
受講計画：
・10日程度で完了するつもりで受講をする。
このコースへのリンク
Spark and Python for Big Data with PySpark
全般ランキング
