Så här installerar du Scala och Apache Spark på MacOS

Så här installerar du Scala och Apache Spark på MacOS

av Jose Marcial Portilla

Här är en steg-för-steg-guide för hur du installerar Scala och Apache Spark på MacOS.

Steg 1: Hämta Homebrew

Homebrew gör ditt liv mycket enklare när det gäller att installera program och språk på en Mac OS. Du kan hämta Homebrew genom att följa instruktionerna på dess webbplats.

Det är i princip bara att öppna terminalen och skriva:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Det finns mer detaljerade instruktioner om installation på projektets GitHub-sida. Om du installerar allt via Homebrew bör du automatiskt lägga till alla lämpliga PATH-inställningar i din profil.

Steg 2: Installera xcode-select

För att kunna installera Java, Scala och Spark via kommandoraden måste vi förmodligen installera xcode-select och kommandoradsutvecklarverktyg. Gå till din terminal och skriv:

xcode-select --install

Du kommer att få en prompt som ser ut ungefär så här:

Gå vidare och välj install.

Steg 3: Använd Homebrew för att installera Java

Scala är beroende av Java, du kanske eller kanske inte behöver installera det. Det enklaste sättet att installera det är att bara använda HomeBrew:

I din terminal skriver du:

brew cask install java

Du kan behöva ange ditt lösenord vid något tillfälle för att slutföra installationen av java. Efter att ha kört detta bör Homebrew ha tagit hand om Java-installationen. Nu kan vi gå vidare till Scala.

Steg 4: Använd Homebrew för att installera Scala

Nu när Homebrew är installerad går du till din terminal och skriver:

brew install scala

Steg 5: Använd Homebrew för att installera Apache Spark

Nu när Scala är installerat går du till din terminal och skriver:

brew install apache-spark

Homebrew kommer nu att ladda ner och installera Apache Spark, det kan ta en viss tid beroende på din internetanslutning.

Steg 5: Starta Spark Shell

Att prova det här kommandot:

spark-shell

Du bör få se en flod av text och varningar, men till slut får du se något som liknar det här:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Du kan bekräfta att det fungerar genom att skriva scalakoden:

val s = "hello world"

Grattis! Allt är klart!

Gemensamt problem:

Homebrew borde ha tagit hand om allt detta, men om du skulle behöva lägga till spark i din PATH, så vill du använda:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Ta bara in det rakt in i terminalen.

Jag heter Jose Portilla och jag undervisar över 200 000 studenter i programmering, datavetenskap och maskininlärning på Udemy. Du kan kolla in alla mina kurser här.

Om du är intresserad av att lära dig Python för datavetenskap och maskininlärning kan du kolla in min kurs här. (Jag undervisar även i Full Stack Web Development with Django!)