本文格式為Word版，下載可任意編輯——使用IntelliJIDEA配置Spark應(yīng)用開發(fā)環(huán)境及源碼閱讀環(huán)境含提交“ProjectStructure〞->“l(fā)ibraries〞->+“java〞，導(dǎo)入Spark安裝目錄/home/tom/spark-1.6.0/lib下的“spark-assembly-1.6.0-hadoop2.6.0.jar〞。

3）運(yùn)行Scala例如程序SparkPi：Spark安裝目錄的examples目錄下，可以找到Scala編寫的例如程序SparkPi.scala，該程序計(jì)算Pi值并輸出。在Project的main目錄下新建SparkPitest.scala，復(fù)制Spark例如程序代碼。

選擇菜單中的“Run〞->“EditConfigurations〞，修改“Mainclass〞和“VMoptions〞。

運(yùn)行結(jié)果：

注意：在我最初運(yùn)行Spark的測(cè)試程序SparkPi時(shí)，點(diǎn)擊運(yùn)行，出現(xiàn)了如下錯(cuò)誤：Exceptioninthread\URLmustbesetinyourconfiguration從提醒中可以看出找不到程序運(yùn)行的

master，此時(shí)需要配置環(huán)境變量。探尋引擎查詢錯(cuò)誤后，了解到傳遞給spark的masterurl可以有如下幾種，具體可以查看Spark官方文檔：-local本地單線程-local[K]本地多線程（指定K個(gè)內(nèi)核）-local[*]本地多線程（指定所有可用內(nèi)核）-spark://HOST:PORT連接到指定的Sparkstandaloneclustermaster，需要指定端口。-mesos://HOST:PORT連接到指定的Mesos集群，需要指定端口。-yarn-client客戶端模式連接到Y(jié)ARN集群。需要配置HADOOP_CONF_DIR。-yarn-cluster集群模式連接到Y(jié)ARN集群。需要配置HADOOP_CONF_DIR。

在VMoptions中輸入“-Dspark.master=local〞，指示本程序本地單線程運(yùn)行。

2.生成jar包提交到集群

1）和本地local模式運(yùn)行Spark一致，我們建立起project。

2）選擇菜單中的“File〞->“ProjectStructure〞->“Artifact〞->“jar〞->“FromModuleswithdependencies〞，之后選擇MainClass和輸出jar的Directory。

3）在主菜單項(xiàng)選擇擇“Build〞->“BuildArtifact〞，編譯生成jar包。4）將jar包使用spark-submit提交：

$SPARK_HOME/bin/spark-submit--class\

3.配置Spark源碼閱讀環(huán)境

克隆Spark源碼：

$gitclone/apache/spark

然后在IntelliJIDEA中即可通過“ImportProject〞，選擇sbt項(xiàng)目，