DAG,全称 Directed Acyclic Graph, 中文为:有向无环图。
在 Spark 中, 使用 DAG 来描述我们的计算逻辑。
这是《深入理解Java虚拟机》的最后一部分,分为两章,分别为Java内存模型与线程、线程安全与锁优化。
Hive 提供了一个交互式接口,来让用户通过 SQL 来操作数据。这里记录一下常用的Hive SQL 语句。
程序员对效率的追求,是永无停止的。
今天接手一个任务,心血来潮用Spark跑一下。 第一次任务花费时间9.6 min,最终调优结果为1.9 min,提升约80%。 还是很有成效的,所以记录一下过程,以便以后参考。
RDD是Spark的重要组件,这次来介绍了一下RDD的定义、和DSM的对比、基本操作以及优缺点。