IT業界のすみっこ暮らし

ふと気がついたときの記録

Apache Sparkインストール手順


色々と試行錯誤したけど、下のサイトを見てなんとかインストールすることが出来た。
How to Install Scala and Apache Spark on MacOS – freeCodeCamp.org

Homebrewとxcodeはインストール済みの状態だったので私が行なった手順は以下になる。

1、Javaのインストール

brew cask install java

2、Scalaのインストール

brew install scala

3、Apache Sparkのインストール

brew install apache-spark

4、環境変数の設定

※インストールされたバージョンを確認して設定する

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.1/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.1.1/libexec/python/:$PYTHONP$

5、HostNameの設定

今回は開発環境なので"localhost"に設定

$ scutil --set HostName "localhost"

設定内容は以下のコマンドで確認可能

$ scutil --get HostName

6、spark-shellで実行

spark-shell

まだいくつかの警告は表示されているけど、エラーはない状態で無事に実行できた。 f:id:papamau:20170701171756p:plain

補足:HostNameがない場合のエラー

java.net.UnknownHostExceptionが発生する。

f:id:papamau:20170701171944p:plain



プライバシーポリシー