Sådan installeres Scala og Apache Spark på MacOS

Sådan installeres Scala og Apache Spark på MacOS

af Jose Marcial Portilla

Her er en trin for trin-guide til installation af Scala og Apache Spark på MacOS.

Stræk 1: Hent Homebrew

Homebrew gør dit liv meget nemmere, når det gælder installation af programmer og sprog på Mac OS. Du kan få Homebrew ved at følge instruktionerne på dets websted.

Det fortæller dig stort set bare, at du skal åbne din terminal og skrive:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Der er mere detaljerede instruktioner om installation på projektets GitHub-side. Hvis du installerer alt via Homebrew, bør du automatisk tilføje alle de relevante PATH-indstillinger til din profil.

Stræk 2: Installation af xcode-select

For at kunne installere Java, Scala og Spark via kommandolinjen skal vi sandsynligvis installere xcode-select og kommandolinje-udviklerværktøjer. Gå til din terminal og skriv:

xcode-select --install

Du vil få en prompt, der ser nogenlunde sådan ud:

Gå videre og vælg install.

Stræk 3: Brug Homebrew til at installere Java

Scala er afhængig af Java, du har måske eller måske ikke brug for at installere det. Den nemmeste måde at installere det på er bare at bruge HomeBrew:

I din terminal skriver du:

brew cask install java

Du skal muligvis indtaste din adgangskode på et tidspunkt for at fuldføre java-installationen. Når du har kørt dette, skulle Homebrew have taget sig af Java-installationen. Nu kan vi gå videre til Scala.

Stræk 4: Brug Homebrew til at installere Scala

Nu med Homebrew installeret går du til din terminal og skriver:

brew install scala

Stræk 5: Brug Homebrew til at installere Apache Spark

Nu med Scala installeret går du til din terminal og skriver:

brew install apache-spark

Homebrew vil nu downloade og installere Apache Spark, det kan tage noget tid afhængigt af din internetforbindelse.

Stræk 5: Start Spark Shell

Afprøv nu denne kommando:

spark-shell

Du bør se en syndflod af tekst og advarsler, men til sidst ser du noget som dette:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Du kan bekræfte, at det virker ved at skrive scala-koden:

val s = "hello world"

Godt tillykke! Du er helt klar!

Fælles problem: Indstilling af PATH i bash.

Homebrew burde have taget sig af alt dette, men hvis du har brug for at tilføje spark til din PATH, skal du bruge:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Du skal bare skrive det direkte i din terminal.

Jeg hedder Jose Portilla, og jeg underviser over 200.000 studerende om programmering, datalogi og maskinlæring på Udemy. Du kan se alle mine kurser her.

Hvis du er interesseret i at lære Python til datalogi og maskinlæring, kan du se mit kursus her. (Jeg underviser også i Full Stack Web Development with Django!)