Cómo instalar Scala y Apache Spark en MacOS

Cómo instalar Scala y Apache Spark en MacOS

por José Marcial Portilla

Aquí tienes una guía paso a paso para instalar Scala y Apache Spark en MacOS.

Paso 1: Consigue Homebrew

Homebrew te hace la vida mucho más fácil a la hora de instalar aplicaciones y lenguajes en un Mac OS. Puedes conseguir Homebrew siguiendo las instrucciones en su página web.

Que básicamente sólo te dice que abras tu terminal y escribas:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Hay instrucciones más detalladas sobre la instalación en la página de GitHub del proyecto. La instalación de todo a través de Homebrew debería añadir automáticamente todas las configuraciones de PATH apropiadas a tu perfil.

Paso 2: Instalar xcode-select

Para instalar Java, Scala y Spark a través de la línea de comandos probablemente necesitaremos instalar xcode-select y las herramientas de desarrollo de la línea de comandos. Ve a tu terminal y escribe:

xcode-select --install

Obtendrás un prompt parecido a este:

Sigue adelante y selecciona instalar.

Paso 3: Usar Homebrew para instalar Java

Scala depende de Java, puedes o no necesitar instalarlo. La forma más fácil de instalarlo es simplemente usar HomeBrew:

En su terminal escriba:

brew cask install java

Es posible que tenga que introducir su contraseña en algún momento para completar la instalación de java. Después de ejecutar esto Homebrew debería haberse encargado de la instalación de Java. Ahora podemos pasar a Scala.

Paso 4: Usar Homebrew para instalar Scala

Ahora con Homebrew instalado ve a tu terminal y escribe:

brew install scala

Paso 5: Usar Homebrew para instalar Apache Spark

Ahora con Scala instalado ve a tu terminal y escribe:

brew install apache-spark

Homebrew ahora descargará e instalará Apache Spark, puede tomar algún tiempo dependiendo de tu conexión a internet.

Paso 5: Iniciar el Spark Shell

Ahora prueba este comando:

spark-shell

Deberías ver una avalancha de texto y advertencias pero finalmente verás algo como esto:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Puedes confirmar que está funcionando escribiendo el código scala:

val s = "hello world"

¡Felicidades! Ya está todo listo!

Incidencia común: Configurar el PATH en bash.

Homebrew debería haberse encargado de todo esto, pero en caso de que necesites añadir spark a tu PATH, querrás usar:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Sólo tienes que escribirlo directamente en tu terminal.

Soy José Portilla, y enseño a más de 200.000 estudiantes sobre programación, ciencia de datos y aprendizaje automático en Udemy. Puedes consultar todos mis cursos aquí.

Si estás interesado en aprender Python para Ciencia de Datos y Aprendizaje Automático, consulta mi curso aquí. (¡También enseño Desarrollo Web Full Stack con Django!)