MacOS に Scala と Apache Spark をインストールする方法
by Jose Marcial Portilla
MacOS に Scala と Apache Spark をインストールする手順です。
手順 1: Homebrew
Mac OS にアプリケーションや言語インストールするには、 Homebrew が非常に簡単にしてくれます。 Homebrew は、その Web サイトにある説明に従って入手できます。
この説明では、基本的にターミナルを開いて次のように入力します。 Homebrew を通じてすべてをインストールすると、適切な PATH 設定が自動的にプロファイルに追加されます。
Step 2: xcode-select のインストール
コマンドラインを通じて Java、Scala、および Spark をインストールするには、おそらく xcode-select とコマンドライン開発ツールをインストールしなければならないでしょう。 ターミナルに移動して、次のように入力します:
進んでインストールを選択します。
Step 3: Use Homebrew to install Java
Scala は Java に依存しており、インストールする必要があるかもしれません。 インストールする最も簡単な方法は、HomeBrewを使うことです:
ターミナルで次のようにタイプします:
brew cask install java
java のインストールを完了するために、パスワードを入力する必要があるかもしれません。 このように実行すると、HomebrewがJavaのインストールを引き受けてくれるはずです。 これでScalaに移行することができます。
Step 4: Use Homebrew to install Scala
Homebrew をインストールした状態で、ターミナルに移動して次のように入力します:
brew install scala
Step 5: Use Homebrew to install Apache Spark
今度は Scala をインストールして、ターミナルに移動して次のように入力します:
brew install apache-spark
ここで Homebrew は Apache Spark をダウンロードしてインストールしますが、インターネット接続によっては、少し時間がかかることがあります。
Step 5: Start the Spark Shell
次にこのコマンドを実行します:
spark-shell
テキストと警告が表示されますが、最終的にはこのようになります:
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>
この scala コードを入力すると動いていることを確認できます:
val s = "hello world"
成功です!
このようにすると、このコマンドは実行され、Score を実行することができます。 これで設定は完了です!
Common Issue:
bash で PATH を設定する。
Homebrew はこれをすべて解決してくれるはずですが、もし spark を PATH に追加する必要がある場合は、次のようにします:
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$
これをターミナルに直接入力します。
Jose Portilla です。
データサイエンスと機械学習のためのPythonを学ぶことに興味があるなら、ここで私のコースをチェックしてみてください。 (私はDjangoを使ったフルスタックWeb開発も教えています!)
。