Spark Metrics is useful if we debug our Spark applications and integetrating with Prometheus and Grafana is a common way to show it.
我们一天中的大部分时间都要花在沟通上，与下游确认需求、与上游确认接口、与同事同步进度交换信息或与领导报告，而 TLSM 方法是专门用来教人们如何更好沟通的，来看看。
之前写过一篇文章来介绍如何构建 Spark 源码本地的 Debug 环境 （详情看这里），但是对于 PySpark 的调试环境略有不同，再来一篇文章介绍一下。
提起 Spark 调优，通常的目标都是如何让运行时间短，但最近看到一篇有趣的文章，它的调优目标却是如何让云服务费用越低，而做到了在保证不增加运行时间、不减少处理的数据的情况下，将云服务的费用降低了 60 %，很酷很新颖，来看看。