Hoe installeer je Scala en Apache Spark op MacOS

Hoe installeer je Scala en Apache Spark op MacOS

door Jose Marcial Portilla

Hier volgt een stap voor stap handleiding voor het installeren van Scala en Apache Spark op MacOS.

Stap 1: Haal Homebrew

Homebrew maakt je leven een stuk makkelijker als het gaat om het installeren van programma’s en talen op een Mac OS. U kunt Homebrew verkrijgen door de instructies op de website te volgen.

Het komt er op neer dat u uw terminal moet openen en typen:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Er zijn meer gedetailleerde instructies over het installeren op de GitHub pagina van het project. Alles installeren via Homebrew zou automatisch alle juiste PATH-instellingen aan je profiel moeten toevoegen.

Stap 2: xcode-select

Om Java, Scala en Spark via de commandoregel te installeren, moeten we waarschijnlijk xcode-select en commandoregel ontwikkelgereedschappen installeren. Ga naar je terminal en typ:

xcode-select --install

Je krijgt een prompt die er ongeveer zo uitziet:

Ga je gang en selecteer install.

Stap 3: Gebruik Homebrew om Java te installeren

Scala is afhankelijk van Java, je kunt het wel of niet nodig hebben om het te installeren. De gemakkelijkste manier om het te installeren is door gewoon HomeBrew te gebruiken:

In uw terminal typt u:

brew cask install java

Het kan zijn dat u op een bepaald punt uw wachtwoord moet invoeren om de installatie van java te voltooien. Na het uitvoeren van dit commando zou Homebrew voor de Java installatie moeten hebben gezorgd. Nu kunnen we verder gaan met Scala.

Stap 4: Gebruik Homebrew om Scala te installeren

Nu met Homebrew geïnstalleerd ga naar je terminal en type:

brew install scala

Stap 5: Gebruik Homebrew om Apache Spark te installeren

Nu met Scala geïnstalleerd ga naar je terminal en type:

brew install apache-spark

Homebrew zal nu Apache Spark downloaden en installeren, dit kan enige tijd duren, afhankelijk van je internet verbinding.

Stap 5: Start de Spark Shell

Probeer nu dit commando:

spark-shell

U zou een vloed van tekst en waarschuwingen moeten zien maar uiteindelijk ziet u iets als dit:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

U kunt bevestigen dat het werkt door de scala code in te typen:

val s = "hello world"

Gefeliciteerd! U bent helemaal klaar!

Gemeenschappelijk probleem: Het instellen van PATH in bash.

Homebrew zou dit allemaal moeten hebben geregeld, maar in het geval dat je spark aan je PATH moet toevoegen, wil je gebruiken:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Typ dat gewoon rechtstreeks in je terminal.

Ik ben Jose Portilla, en ik geef les aan meer dan 200.000 studenten over programmeren, data science, en machine learning op Udemy. U kunt al mijn cursussen hier bekijken.

Als je geïnteresseerd bent in het leren van Python voor Data Science en Machine learning, bekijk dan mijn cursus hier. (Ik geef ook les in Full Stack Web Development met Django!)