Jak nainstalovat Scalu a Apache Spark na MacOS
od Jose Marcial Portilla
Přinášíme návod, jak krok za krokem nainstalovat Scalu a Apache Spark na MacOS.
Krok 1: Pořiďte si Homebrew
Homebrew vám výrazně usnadní život při instalaci aplikací a jazyků na Mac OS. Homebrew získáte podle pokynů na jeho webových stránkách.
Které vám v podstatě jen řeknou, abyste otevřeli terminál a zadali:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
Podrobnější pokyny k instalaci najdete na stránce projektu GitHub. Instalace všeho přes Homebrew by měla automaticky přidat všechna příslušná nastavení PATH do vašeho profilu.
Krok 2: Instalace xcode-select
Pro instalaci Javy, Scaly a Sparku přes příkazový řádek budeme pravděpodobně potřebovat nainstalovat xcode-select a vývojářské nástroje příkazového řádku. Přejděte do terminálu a zadejte:
xcode-select --install
Zobrazí se výzva, která bude vypadat asi takto:
Pokračujte a vyberte možnost install.
Krok 3: Instalace Javy pomocí Homebrew
Scala je závislá na Javě, můžete, ale nemusíte ji instalovat. Nejjednodušší způsob, jak ji nainstalovat, je prostě použít HomeBrew:
V terminálu zadejte:
brew cask install java
Možná budete muset v určitém okamžiku zadat heslo, abyste dokončili instalaci Javy. Po spuštění tohoto postupu by se Homebrew měl postarat o instalaci Javy. Nyní můžeme přejít ke Scale.
Krok 4: Použijte Homebrew k instalaci Scaly
Nyní s nainstalovaným Homebrew přejděte do terminálu a zadejte:
brew install scala
Krok 5: Použijte Homebrew k instalaci Apache Spark
Nyní s nainstalovanou Scalou přejděte do terminálu a zadejte:
brew install apache-spark
Homebrew nyní stáhne a nainstaluje Apache Spark, může to chvíli trvat v závislosti na vašem internetovém připojení.
Krok 5: Spusťte Spark Shell
Nyní zkuste tento příkaz:
spark-shell
Měli byste vidět záplavu textu a varování, ale nakonec uvidíte něco takového:
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>
Potvrdit, že to funguje, můžete zadáním kódu Scala:
val s = "hello world"
Gratulujeme! Vše je připraveno!
Běžný problém:
Homebrew by se měl o vše postarat, ale v případě, že potřebujete přidat spark do PATH, použijte:
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$
Prostě to napište přímo do terminálu.
Jmenuji se Jose Portilla a na Udemy učím více než 200 000 studentů o programování, datové vědě a strojovém učení. Všechny mé kurzy si můžete prohlédnout zde.
Pokud máte zájem naučit se Python pro datovou vědu a strojové učení, podívejte se na můj kurz zde. (Učím také Full Stack Web Development with Django!)