在Spark源码上添加了些代码，想做个单元测试，倒弄了半天，发现怎么着都会跑所有的单测，好浪费时间。
找了半天，解决方法：
mvn test -DwildcardSuites=org.apache.spark.io.CompressionCodecSuite -Dtest=nothing -DfailIfNoTests=false
当然，你可以把pom.xml中你不需要的Module先临时去掉，这样可以节约一部分编译依赖时间。
回头看上述方法还是有问题，参考：https://spark.apache.org/developer-tools.html，单个测试说的很明白，如下：
build/sbt
project core
testOnly org.apache.spark.scheduler.DAGSchedulerSuite
TODO: 同时在sql package下有着许多压测，可以尝试着测试下。
参考：
在Spark源码上添加了些代码，想做个单元测试，倒弄了半天，发现怎么着都会跑所有的单测，好浪费时间。 找了半天，解...
0. 目录 Spark源码编译 Spark环境搭建 Spark简单使用 1. Spark源码编译 http://s...
Spark源码编译 源码下载 从github上下载最新版本spark源码https://github.com/ap...
跟踪源码 spark-shell -> spark-submit -> spark-class SparkSubm...
官网：http://spark.apache.org/ 1.Spark源码编译 1.1 源码下载 下载地址： ht...
看 spark streaming 源码解析之前最好先了解spark core的内容。 前言 Spark Stre...
1. 下载spark源码： 选择好版本，直接先下载源码。在链接中选择好版本：http://spark.apache...
spark源码:https://github.com/apache/spark 官网：xxxx.apache.or...
一、下载源码 https://archive.apache.org/dist/spark/spark-2.4.2/...
前言 本文主要通过spark wordcount 案例的源码来分析spark中的运行过程。 spark 编程模型 ...
本文标题：搞定Spark 源码单元测试
本文链接：https://www.haomeiwen.com/subject/utaxdxtx.html
网友评论