Jak nainstalovat Scalu a Apache Spark na MacOS

Jak nainstalovat Scalu a Apache Spark na MacOS

od Jose Marcial Portilla

Přinášíme návod, jak krok za krokem nainstalovat Scalu a Apache Spark na MacOS.

Krok 1: Pořiďte si Homebrew

Homebrew vám výrazně usnadní život při instalaci aplikací a jazyků na Mac OS. Homebrew získáte podle pokynů na jeho webových stránkách.

Které vám v podstatě jen řeknou, abyste otevřeli terminál a zadali:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Podrobnější pokyny k instalaci najdete na stránce projektu GitHub. Instalace všeho přes Homebrew by měla automaticky přidat všechna příslušná nastavení PATH do vašeho profilu.

Krok 2: Instalace xcode-select

Pro instalaci Javy, Scaly a Sparku přes příkazový řádek budeme pravděpodobně potřebovat nainstalovat xcode-select a vývojářské nástroje příkazového řádku. Přejděte do terminálu a zadejte:

xcode-select --install

Zobrazí se výzva, která bude vypadat asi takto:

Pokračujte a vyberte možnost install.

Krok 3: Instalace Javy pomocí Homebrew

Scala je závislá na Javě, můžete, ale nemusíte ji instalovat. Nejjednodušší způsob, jak ji nainstalovat, je prostě použít HomeBrew:

V terminálu zadejte:

brew cask install java

Možná budete muset v určitém okamžiku zadat heslo, abyste dokončili instalaci Javy. Po spuštění tohoto postupu by se Homebrew měl postarat o instalaci Javy. Nyní můžeme přejít ke Scale.

Krok 4: Použijte Homebrew k instalaci Scaly

Nyní s nainstalovaným Homebrew přejděte do terminálu a zadejte:

brew install scala

Krok 5: Použijte Homebrew k instalaci Apache Spark

Nyní s nainstalovanou Scalou přejděte do terminálu a zadejte:

brew install apache-spark

Homebrew nyní stáhne a nainstaluje Apache Spark, může to chvíli trvat v závislosti na vašem internetovém připojení.

Krok 5: Spusťte Spark Shell

Nyní zkuste tento příkaz:

spark-shell

Měli byste vidět záplavu textu a varování, ale nakonec uvidíte něco takového:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.

scala>

Potvrdit, že to funguje, můžete zadáním kódu Scala:

val s = "hello world"

Gratulujeme! Vše je připraveno!

Běžný problém:

Homebrew by se měl o vše postarat, ale v případě, že potřebujete přidat spark do PATH, použijte:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Prostě to napište přímo do terminálu.

Jmenuji se Jose Portilla a na Udemy učím více než 200 000 studentů o programování, datové vědě a strojovém učení. Všechny mé kurzy si můžete prohlédnout zde.

Pokud máte zájem naučit se Python pro datovou vědu a strojové učení, podívejte se na můj kurz zde. (Učím také Full Stack Web Development with Django!)