Scalan ja Apache Sparkin asentaminen MacOS-käyttöjärjestelmään

Scalan ja Apache Sparkin asentaminen MacOS-käyttöjärjestelmään

toimittaja Jose Marcial Portilla

Tässä on vaiheittainen opas Scalan ja Apache Sparkin asentamiseen MacOS-käyttöjärjestelmään.

Vaihe 1: Hanki Homebrew

Homebrew tekee elämästäsi paljon helpompaa sovellusten ja kielten asentamisessa Mac-käyttöjärjestelmään. Voit hankkia Homebrew’n noudattamalla sen verkkosivulla olevia ohjeita.

Jossa periaatteessa vain kerrotaan, että avaa terminaali ja kirjoita:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Projektin GitHub-sivulla on tarkemmat ohjeet asentamisesta. Kun asennat kaiken Homebrew:n kautta, sen pitäisi automaattisesti lisätä kaikki sopivat PATH-asetukset profiiliisi.

Vaihe 2: xcode-selectin asentaminen

Voidaksemme asentaa Javan, Scalan ja Sparkin komentorivin kautta meidän täytyy luultavasti asentaa xcode-select ja komentorivin kehittäjätyökalut. Mene terminaaliin ja kirjoita:

xcode-select --install

Saat kehotteen, joka näyttää jotakuinkin tältä:

Valitse install.

Vaihe 3: Käytä Homebrew’ta Javan asentamiseen

Scala on riippuvainen Javasta, joten saatat joutua asentamaan sen tai et. Helpoin tapa asentaa se on vain käyttää HomeBrew:

Terminaalissa kirjoita:

brew cask install java

Voi olla, että joudut syöttämään salasanasi jossain vaiheessa saadaksesi java-asennuksen valmiiksi. Tämän suorittamisen jälkeen Homebrew pitäisi olla hoitanut Java-asennuksen. Nyt voimme siirtyä Scalaan.

Vaihe 4: Käytä Homebrew’ta Scalan asentamiseen

Nyt kun Homebrew on asennettu, mene terminaaliin ja kirjoita:

brew install scala

Vaihe 5: Käytä Homebrew’ta Apache Sparkin asentamiseen

Nyt kun Scala on asennettu, mene terminaaliin ja kirjoita:

brew install apache-spark

Homebrew lataa nyt Apache Sparkin alaspäin ja asentaa sen, tämä saattaa kestää jonkin aikaa riippuen internetyhteydestäsi.

Vaihe 5: Käynnistä Spark Shell

Kokeile nyt tätä komentoa:

spark-shell

Sinun pitäisi nähdä tulva tekstiä ja varoituksia, mutta lopulta näet jotain tämän kaltaista:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Voit varmistaa, että se toimii kirjoittamalla scala-koodin:

val s = "hello world"

Onnittelut! Olet valmis!

Yleinen ongelma: PATH:n asettaminen bashissa.

Homebrew:n olisi pitänyt huolehtia tästä kaikesta, mutta jos haluat lisätä sparkin PATH:iin, kannattaa käyttää:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Kirjoita se vain suoraan terminaaliin.

Olen Jose Portilla, ja opetan yli 200 000:lle opiskelijalle ohjelmoinnista, datatieteestä ja koneoppimisesta Udemyssä. Voit tutustua kaikkiin kursseihini täällä.

Jos olet kiinnostunut oppimaan Pythonia datatieteeseen ja koneoppimiseen, tutustu kurssiini täällä. (Opetan myös Full Stack Web Development with Django!)