MacOS に Scala と Apache Spark をインストールする方法

MacOS に Scala と Apache Spark をインストールする方法

by Jose Marcial Portilla

MacOS に Scala と Apache Spark をインストールする手順です。

手順 1: Homebrew

Mac OS にアプリケーションや言語インストールするには、 Homebrew が非常に簡単にしてくれます。 Homebrew は、その Web サイトにある説明に従って入手できます。

この説明では、基本的にターミナルを開いて次のように入力します。 Homebrew を通じてすべてをインストールすると、適切な PATH 設定が自動的にプロファイルに追加されます。

Step 2: xcode-select のインストール

コマンドラインを通じて Java、Scala、および Spark をインストールするには、おそらく xcode-select とコマンドライン開発ツールをインストールしなければならないでしょう。 ターミナルに移動して、次のように入力します:

進んでインストールを選択します。

Step 3: Use Homebrew to install Java

Scala は Java に依存しており、インストールする必要があるかもしれません。 インストールする最も簡単な方法は、HomeBrewを使うことです：

ターミナルで次のようにタイプします：

brew cask install java

java のインストールを完了するために、パスワードを入力する必要があるかもしれません。 このように実行すると、HomebrewがJavaのインストールを引き受けてくれるはずです。 これでScalaに移行することができます。

Step 4: Use Homebrew to install Scala

Homebrew をインストールした状態で、ターミナルに移動して次のように入力します：

brew install scala

Step 5: Use Homebrew to install Apache Spark

今度は Scala をインストールして、ターミナルに移動して次のように入力します：

brew install apache-spark

ここで Homebrew は Apache Spark をダウンロードしてインストールしますが、インターネット接続によっては、少し時間がかかることがあります。

Step 5: Start the Spark Shell

次にこのコマンドを実行します:

spark-shell

テキストと警告が表示されますが、最終的にはこのようになります:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

この scala コードを入力すると動いていることを確認できます：

val s = "hello world"

成功です！

このようにすると、このコマンドは実行され、Score を実行することができます。 これで設定は完了です！

Common Issue:

bash で PATH を設定する。

Homebrew はこれをすべて解決してくれるはずですが、もし spark を PATH に追加する必要がある場合は、次のようにします：

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

これをターミナルに直接入力します。

Jose Portilla です。

データサイエンスと機械学習のためのPythonを学ぶことに興味があるなら、ここで私のコースをチェックしてみてください。 (私はDjangoを使ったフルスタックWeb開発も教えています!)

。