Cum se instalează Scala și Apache Spark pe MacOS

Cum se instalează Scala și Apache Spark pe MacOS

de Jose Marcial Portilla

Iată un ghid pas cu pas pentru a instala Scala și Apache Spark pe MacOS.

Pasul 1: Obțineți Homebrew

Homebrew vă face viața mult mai ușoară atunci când vine vorba de instalarea de aplicații și limbaje pe un sistem de operare Mac. Puteți obține Homebrew urmând instrucțiunile de pe site-ul său.

Ceea ce practic vă spune doar să deschideți terminalul și să tastați:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Există instrucțiuni mai detaliate privind instalarea pe pagina GitHub a proiectului. Instalarea tuturor lucrurilor prin Homebrew ar trebui să adauge automat toate setările PATH corespunzătoare în profilul dumneavoastră.

Pasul 2: Instalarea xcode-select

Pentru a instala Java, Scala și Spark prin linia de comandă va trebui probabil să instalăm xcode-select și instrumente de dezvoltare în linie de comandă. Mergeți la terminalul dvs. și tastați:

xcode-select --install

Vă veți obține un prompt care arată cam așa:

Avansați și selectați install.

Pasul 3: Folosiți Homebrew pentru a instala Java

Scala este dependent de Java, este posibil să fie sau nu necesar să îl instalați. Cel mai simplu mod de a-l instala este să folosiți pur și simplu HomeBrew:

În terminalul dvs. tastați:

brew cask install java

Este posibil să fie nevoie să introduceți parola la un moment dat pentru a finaliza instalarea java. După ce executați acest lucru, Homebrew ar fi trebuit să se ocupe de instalarea Java. Acum putem trece la Scala.

Pasul 4: Folosiți Homebrew pentru a instala Scala

Acum, cu Homebrew instalat, mergeți la terminalul dvs. și tastați:

brew install scala

Pasul 5: Folosiți Homebrew pentru a instala Apache Spark

Acum, cu Scala instalat, mergeți la terminalul dvs. și tastați:

brew install apache-spark

Homebrew va descărca și instala acum Apache Spark, poate dura ceva timp în funcție de conexiunea dvs. la internet.

Pasul 5: Porniți Spark Shell

Acum încercați această comandă:

spark-shell

Ar trebui să vedeți o avalanșă de text și avertismente, dar în cele din urmă veți vedea ceva de genul acesta:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Puteți confirma că funcționează prin tastarea codului scala:

val s = "hello world"

Felicitări! Sunteți pregătiți!

Problemă comună: Setarea PATH în bash.

Homebrew ar fi trebuit să se ocupe de toate acestea, dar în cazul în care aveți nevoie să adăugați spark la PATH-ul dumneavoastră, veți dori să folosiți:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Tastați doar asta direct în terminal.

Sunt Jose Portilla și predau peste 200.000 de studenți despre programare, știința datelor și învățare automată pe Udemy. Puteți verifica toate cursurile mele aici.

Dacă sunteți interesat să învățați Python pentru știința datelor și învățare automată, verificați cursul meu aici. (De asemenea, predau și Full Stack Web Development with Django!)

.