今天接手一个任务，心血来潮用Spark跑一下。 第一次任务花费时间9.6 min，最终调优结果为1.9 min，提升约80%。 还是很有成效的，所以记录一下过程，以便以后参考。
RDD是Spark的重要组件，这次来介绍了一下RDD的定义、和DSM的对比、基本操作以及优缺点。
SparkContext是Apache Spark功能的入口，任何Spark驱动程序应用程序最重要的步骤都是来生成SparkContext，来详细了解一下它。
先在ubuntu下安装一下Spark。
继Hadoop之后，又一项大数据处理利器：Spark出世。来了解一下它。
当数据量变得越来越大，或者处理逻辑变得越来越复杂时，如何优化hive的执行就显得越发重要。 这里有7种优化方式，来依次介绍一下。