Wie man Scala und Apache Spark auf MacOS installiert

Wie man Scala und Apache Spark auf MacOS installiert

von Jose Marcial Portilla

Hier ist eine Schritt-für-Schritt-Anleitung zur Installation von Scala und Apache Spark auf MacOS.

Schritt 1: Holen Sie sich Homebrew

Homebrew macht Ihr Leben viel einfacher, wenn es um die Installation von Anwendungen und Sprachen auf einem Mac OS geht. Du kannst Homebrew bekommen, indem du den Anweisungen auf der Website folgst.

Das bedeutet im Grunde nur, dass du dein Terminal öffnen und Folgendes eingeben musst:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Eine detailliertere Anleitung zur Installation findest du auf der GitHub-Seite des Projekts. Die Installation über Homebrew sollte automatisch alle entsprechenden PATH-Einstellungen zu Ihrem Profil hinzufügen.

Schritt 2: Installation von xcode-select

Um Java, Scala und Spark über die Kommandozeile zu installieren, müssen wir wahrscheinlich xcode-select und die Kommandozeilen-Entwicklerwerkzeuge installieren. Gehen Sie zu Ihrem Terminal und geben Sie ein:

xcode-select --install

Sie erhalten eine Eingabeaufforderung, die in etwa so aussieht:

Wählen Sie install.

Schritt 3: Verwenden Sie Homebrew, um Java zu installieren

Scala ist von Java abhängig, Sie müssen es vielleicht installieren, vielleicht auch nicht. Am einfachsten ist es, Homebrew zu benutzen:

Geben Sie in Ihrem Terminal ein:

brew cask install java

Es kann sein, dass Sie Ihr Passwort eingeben müssen, um die Java-Installation abzuschließen. Nachdem Sie dies ausgeführt haben, sollte Homebrew die Java-Installation übernommen haben. Jetzt können wir zu Scala übergehen.

Schritt 4: Verwenden Sie Homebrew, um Scala zu installieren

Nun, da Homebrew installiert ist, gehen Sie zu Ihrem Terminal und geben Sie ein:

brew install scala

Schritt 5: Verwenden Sie Homebrew, um Apache Spark zu installieren

Nun, da Scala installiert ist, gehen Sie zu Ihrem Terminal und geben Sie ein:

brew install apache-spark

Homebrew wird nun Apache Spark herunterladen und installieren, dies kann einige Zeit dauern, abhängig von Ihrer Internetverbindung.

Schritt 5: Starten Sie die Spark-Shell

Nun versuchen Sie diesen Befehl:

spark-shell

Sie sollten eine Flut von Text und Warnungen sehen, aber schließlich sehen Sie etwas wie dies:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Sie können bestätigen, dass es funktioniert, indem Sie den Scala-Code eingeben:

val s = "hello world"

Glückwunsch! Sie haben alles eingerichtet!

Gemeinsames Problem: Einstellen des PATH in der Bash.

Homebrew sollte sich um alles gekümmert haben, aber für den Fall, dass Sie spark zu Ihrem PATH hinzufügen müssen, verwenden Sie:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Geben Sie das einfach direkt in Ihr Terminal ein.

Ich bin Jose Portilla und ich unterrichte über 200.000 Studenten über Programmierung, Data Science und maschinelles Lernen auf Udemy. Sie können sich alle meine Kurse hier ansehen.

Wenn Sie daran interessiert sind, Python für Data Science und maschinelles Lernen zu lernen, sehen Sie sich meinen Kurs hier an. (Ich unterrichte auch Full Stack Web Development mit Django!)