为了方便的阅读、理解 Spark 源码,debug 是个好方式。来介绍一下Spark 在 IntelliJ IDEA 中 Debug 环境构建。
源码获取
这个可以从 github 上找到。下载自己感兴趣的版本即可。
git clone https://github.com/apache/spark.git
构建项目
以下步骤主要参考官方文档。打开页面,搜索 “IntelliJ IDEA”关键词。
- 下载 IntelliJ IDEA, Preferences > Plugins,搜索 Scala Plugin 并安装.
- File -> Import Project, 到达代码位置,并选择 “Maven Project”。
- 在 Import 过程中,选中 “Import Maven projects automatically”,其他选项不变。
- 接下来要参考另外一个官方文档:Building Spark 。
- 在项目根目录打开终端
- Run
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
- Run
./build/mvn -DskipTests clean package
第7步会花费一些时间。等到第七步完成,整个项目就build 成功了。
运行 example
举个例子,比如运行 SparkPi。只需修改 Run Configuration 两处地方就好。
接下来就可以debug 运行了。