Como instalar Scala e Apache Spark em MacOS

Como instalar Scala e Apache Spark em MacOS

by Jose Marcial Portilla

Aqui está um guia passo a passo para instalar Scala e Apache Spark em MacOS.

Passo 1: Get Homebrew

Homebrew torna a sua vida muito mais fácil quando se trata de instalar aplicações e linguagens em um Mac OS. Você pode obter Homebraico seguindo as instruções no seu website.

Que basicamente só lhe diz para abrir o seu terminal e digite:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Existem instruções mais detalhadas sobre a instalação na página do GitHub do projeto. Instalando tudo através de Homebrew deve automaticamente adicionar todas as configurações PATH apropriadas ao seu perfil.

Passo 2: Instalando xcode-select

Para instalar Java, Scala e Spark através da linha de comando provavelmente precisaremos instalar as ferramentas xcode-select e de desenvolvimento de linha de comando. Vá até o seu terminal e digite:

xcode-select --install

Você terá um prompt que se parece com isto:

Vá em frente e selecione install.

Passo 3: Use Homebrew para instalar Java

Scala é dependente de Java, você pode ou não precisar instalá-lo. A maneira mais fácil de instalá-lo é apenas usar HomeBrew:

No seu tipo de terminal:

brew cask install java

Você pode precisar digitar sua senha em algum momento para completar a instalação do java. Depois de executar este Homebrew deve ter tomado conta da instalação do Java. Agora podemos passar para Scala.

Passo 4: Use Homebrew para instalar o Scala

Agora com o Homebrew instalado vá até seu terminal e digite:

brew install scala

Passo 5: Use Homebrew para instalar o Apache Spark

Agora com o Scala instalado vá até seu terminal e digite:

brew install apache-spark

Homebrew agora irá baixar e instalar o Apache Spark, pode levar algum tempo dependendo da sua conexão de internet.

Passo 5: Inicie a Spark Shell

Tente agora este comando:

spark-shell

Você deve ver uma enchente de texto e avisos mas eventualmente ver algo assim:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Você pode confirmar que está funcionando digitando o código scala:

val s = "hello world"

Congratulações! Está tudo pronto!

Emissão comum: Configurando o PATH em bash.

Homebrew deveria ter cuidado com tudo isso, mas caso você precise adicionar faísca ao seu PATH, você vai querer usar:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Apenas digite isso direto no seu terminal.

Eu sou Jose Portilla, e eu ensino mais de 200.000 alunos sobre programação, ciência de dados e aprendizagem de máquinas no Udemy. Você pode conferir todos os meus cursos aqui.

Se você está interessado em aprender Python para ciência de dados e aprendizado de máquinas, confira meu curso aqui. (Eu também ensino Desenvolvimento Web Full Stack com Django!)