Comment installer Scala et Apache Spark sur MacOS

Comment installer Scala et Apache Spark sur MacOS

par Jose Marcial Portilla

Voici un guide étape par étape pour installer Scala et Apache Spark sur MacOS.

Etape 1 : Obtenir Homebrew

Homebrew rend votre vie beaucoup plus facile quand il s’agit d’installer des applications et des langages sur un Mac OS. Vous pouvez obtenir Homebrew en suivant les instructions sur son site Web.

Ce qui vous dit essentiellement juste d’ouvrir votre terminal et de taper :

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Il y a des instructions plus détaillées sur l’installation sur la page GitHub du projet. L’installation de tout par Homebrew devrait automatiquement ajouter tous les paramètres PATH appropriés à votre profil.

Etape 2 : Installation de xcode-select

Afin d’installer Java, Scala et Spark par la ligne de commande, nous aurons probablement besoin d’installer xcode-select et les outils de développement en ligne de commande. Allez dans votre terminal et tapez:

xcode-select --install

Vous obtiendrez une invite qui ressemble à quelque chose comme ceci:

Allez-y et sélectionnez install.

Étape 3 : Utilisez Homebrew pour installer Java

Scala est dépendant de Java, vous pouvez ou non avoir besoin de l’installer. La façon la plus simple de l’installer est de simplement utiliser HomeBrew:

Dans votre terminal tapez:

brew cask install java

Vous devrez peut-être entrer votre mot de passe à un moment donné pour terminer l’installation de java. Après avoir exécuté ceci Homebrew devrait avoir pris soin de l’installation de Java. Maintenant, nous pouvons passer à Scala.

Etape 4 : Utiliser Homebrew pour installer Scala

Maintenant avec Homebrew installé allez dans votre terminal et tapez:

brew install scala

Etape 5 : Utiliser Homebrew pour installer Apache Spark

Maintenant avec Scala installé allez dans votre terminal et tapez:

brew install apache-spark

Homebrew va maintenant télécharger et installer Apache Spark, cela peut prendre un certain temps en fonction de votre connexion Internet.

Étape 5 : Démarrer le Shell Spark

Maintenant essayez cette commande :

spark-shell

Vous devriez voir un flot de texte et d’avertissements mais finalement voir quelque chose comme ceci :

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Vous pouvez confirmer que cela fonctionne en tapant le code scala :

val s = "hello world"

Congratulations ! Vous avez tout mis en place!

Problèmes communs : Réglage du PATH dans bash.

Homebrew devrait avoir pris soin de tout cela, mais au cas où vous auriez besoin d’ajouter spark à votre PATH, vous voudrez utiliser:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Tapez simplement cela directement dans votre terminal.

Je suis Jose Portilla, et j’enseigne à plus de 200 000 étudiants la programmation, la science des données et l’apprentissage automatique sur Udemy. Vous pouvez consulter tous mes cours ici.

Si vous êtes intéressé par l’apprentissage de Python pour la science des données et l’apprentissage automatique, consultez mon cours ici. (J’enseigne également le développement Web Full Stack avec Django !)