​前言 在本文开始之前，作者一直有个疑惑，就是面试题是只写写问题和答案就草草了事，还是应该深入分析一下其背后发生的...[作者空间]

​前言 通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平...[作者空间]

前言 上篇文章讲到了消息在 Partition 上的存储形式，本来准备接着来聊聊生产中的一些使用方式，想了想还有些...[作者空间]

前言 经过前 5 篇文章的介绍，估么着小伙伴们已经对消息生产和消费的流程应该有一个比较清晰的认识了。当然小伙伴们肯...[作者空间]

前言 经过前几篇文章的介绍，大致了解了生产者背后的运行原理。消息有生产就得有人去消费，今天我们就来介绍下消费端消费...[作者空间]

​前言 上篇文章讲述了消息从生产到写入到 Broker 的 partition 上背后发生的故事，并提出了消息发送...[作者空间]

前言 经过上篇文章的简单实战之后，今天来聊聊生产者将消息从客户端发送到 Broker 上背后发生了哪些故事，看不看...[作者空间]

​前言 上篇文章讲解了 Kafka 的基础概念和架构，了解了基本概念之后，必须得实践一波了，所谓“实践才是检验真理...[作者空间]

​前言 如果有幸目睹过系统从零到一的演变过程，大家估计都会有一种感叹，就是随着业务复杂度和流量的不断上升，系统变得...[作者空间]

最近一直在忙，没顾得上写文章，新年的第一篇文章，希望大家可以喜欢；好了，今天接着之前的内容，来聊聊BlockMan...[作者空间]

如题，我们来分析一下spark的shuffle操作原理；为什么说其非常重要，是因为shuffle操作是我们在Spa...[作者空间]

接着上一篇，我们接着来分析下一个非常重要的组建DAGScheduler的运行原理是怎么实现的；通过之前对Spark...[作者空间]

接着上篇的Schedule调度内容，本篇我们来看看Driver，Application向Worker发送launc...[作者空间]

上一篇我们阐述了Driver，Application，Worker的注册实现原理，本篇我们来接着聊聊Driver，...[作者空间]

这篇文章我们来讨论一下Master的注册机制；那么有哪些信息需要注册到Master上面去呢？很简单，分别有Work...[作者空间]

Spark作业运行的集群环境有两种，分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了...[作者空间]

上一篇介绍了spark作业提交的三种方式，从本篇开始逐一介绍Spark作业运行流程中各个组件的内部工作原理。如标题...[作者空间]

最近在研究Spark源码，顺便记录一下，供大家学习参考，如有错误，请批评指正。好，废话不多说，这一篇先来讲讲Spa...[作者空间]

前面介绍了很多关于Spark性能的调优手段，今天来介绍一下Spark性能调优的最后一个点，就是关于Spark中常用...[作者空间]

由于Spark程序是运行在JVM基础之上的，所以我们这一篇来讨论一下关于JVM的一些优化操作。在开始JVM调优操作...[作者空间]