A Scala és az Apache Spark telepítése MacOS operációs rendszeren

A Scala és az Apache Spark telepítése MacOS operációs rendszeren

by Jose Marcial Portilla

Itt egy lépésről lépésre követhető útmutató a Scala és az Apache Spark telepítéséhez MacOS operációs rendszeren.

1. lépés: Szerezd meg a Homebrew-t

A Homebrew nagyban megkönnyíti az életedet, ha alkalmazások és nyelvek telepítéséről van szó Mac OS-en. A Homebrew-ot a weboldalán található utasításokat követve szerezheted be.

Az alapvetően csak annyit mond, hogy nyisd meg a terminálodat, és írd be:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

A projekt GitHub oldalán részletesebb utasításokat találsz a telepítésről. Ha mindent a Homebrew segítségével telepítünk, akkor automatikusan hozzá kell adnunk a megfelelő PATH beállításokat a profilunkhoz.

2. lépés: Az xcode-select telepítése

A Java, Scala és Spark parancssoron keresztül történő telepítéséhez valószínűleg szükségünk lesz az xcode-select és a parancssori fejlesztői eszközök telepítésére. Menjünk a terminálhoz, és írjuk be:

xcode-select --install

Egy körülbelül így kinéző promptot fogunk kapni:

Válaszd a telepítést.

3. lépés: A Java telepítése a Homebrew segítségével

A Scala függ a Javától, lehet, hogy telepítenünk kell, lehet, hogy nem. A legegyszerűbben úgy telepítheted, ha csak a HomeBrew-t használod:

A terminálodba írd be:

brew cask install java

Elképzelhető, hogy egy ponton meg kell adnod a jelszavadat a java telepítésének befejezéséhez. Ennek futtatása után a Homebrew-nak gondoskodnia kell a Java telepítéséről. Most már áttérhetünk a Scala-ra.

Step 4: Use Homebrew to install Scala

Most a Homebrew telepítésével menj a terminálodba és írd be:

brew install scala

Step 5: Use Homebrew to install Apache Spark

Most a Scala telepítésével menj a terminálodba és írd be:

brew install apache-spark

A Homebrew most letölti és telepíti az Apache Spark-ot, ez eltarthat egy ideig az internet kapcsolatodtól függően.

5. lépés: Indítsd el a Spark Shell-t

Most próbáld ki ezt a parancsot:

spark-shell

Egy áradatnyi szöveget és figyelmeztetést kell látnod, de végül valami ilyesmit fogsz látni:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

A scala kód beírásával megerősítheted, hogy működik:

val s = "hello world"

Gratulálunk! Minden készen áll!

Common Issue: PATH beállítása a bash-ben.

A homebrew-nek minderről gondoskodnia kellett volna, de abban az esetben, ha hozzá kell adnod a sparkot a PATH-odhoz, a következőt kell használnod:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Egyszerűen csak írd be egyenesen a terminálodba.

Jose Portilla vagyok, és több mint 200.000 diákot tanítok programozásról, adattudományról és gépi tanulásról a Udemy-n. Az összes tanfolyamomat itt nézheted meg.

Ha érdekel a Python tanulása az adattudományhoz és a gépi tanuláshoz, nézd meg a tanfolyamomat itt. (Full Stack Web Development with Django-t is tanítok!)