Jak zainstalować Scalę i Apache Spark na systemie MacOS

Jak zainstalować Scalę i Apache Spark na systemie MacOS

przez Jose Marcial Portilla

Przedstawiamy przewodnik krok po kroku po instalacji Scali i Apache Spark na systemie MacOS.

Krok 1: Pobierz Homebrew

Homebrew bardzo ułatwia życie, jeśli chodzi o instalowanie aplikacji i języków na systemie Mac OS. Możesz uzyskać Homebrew, postępując zgodnie z instrukcjami na jego stronie.

W zasadzie wystarczy otworzyć terminal i wpisać:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Są bardziej szczegółowe instrukcje dotyczące instalacji na stronie GitHub projektu. Instalacja wszystkiego przez Homebrew powinna automatycznie dodać wszystkie odpowiednie ustawienia PATH do twojego profilu.

Krok 2: Instalacja xcode-select

Aby zainstalować Javę, Scalę i Sparka z linii poleceń, prawdopodobnie będziemy musieli zainstalować xcode-select i narzędzia deweloperskie z linii poleceń. Przejdź do terminala i wpisz:

xcode-select --install

Uzyskasz monit, który wygląda mniej więcej tak:

Naprzód i wybierz install.

Krok 3: Użyj Homebrew do zainstalowania Javy

Scala jest zależna od Javy, możesz, ale nie musisz jej instalować. Najprostszym sposobem na jej zainstalowanie jest użycie HomeBrew:

W terminalu wpisz:

brew cask install java

Może być konieczne podanie hasła w pewnym momencie, aby zakończyć instalację javy. Po uruchomieniu tego Homebrew powinien zająć się instalacją Javy. Teraz możemy przejść do Scali.

Krok 4: Użyj Homebrew do zainstalowania Scali

Teraz z zainstalowanym Homebrew przejdź do terminala i wpisz:

brew install scala

Krok 5: Użyj Homebrew do zainstalowania Apache Spark

Teraz z zainstalowaną Scalą przejdź do terminala i wpisz:

brew install apache-spark

Homebrew pobierze i zainstaluje Apache Spark, może to zająć trochę czasu w zależności od połączenia internetowego.

Krok 5: Uruchom powłokę Spark

Teraz wypróbuj to polecenie:

spark-shell

Powinieneś zobaczyć powódź tekstu i ostrzeżeń, ale w końcu zobaczysz coś takiego:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Możesz potwierdzić, że to działa, wpisując kod scala:

val s = "hello world"

Gratulacje! Wszystko jest gotowe!

Common Issue: Ustawianie PATH w bashu.

Homebrew powinien zająć się tym wszystkim, ale na wypadek, gdybyś potrzebował dodać spark do PATH, będziesz chciał użyć:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Po prostu wpisz to prosto do swojego terminala.

Nazywam się Jose Portilla i uczę ponad 200 000 studentów programowania, nauki o danych i uczenia maszynowego na Udemy. Możesz sprawdzić wszystkie moje kursy tutaj.

Jeśli jesteś zainteresowany nauką Pythona dla Data Science i uczenia maszynowego, sprawdź mój kurs tutaj. (Uczę również Full Stack Web Development z Django!)

.