美文网首页
左耳朵耗子|分布式系统技术栈

左耳朵耗子|分布式系统技术栈

作者: MaughamRick | 来源:发表于2018-09-02 17:16 被阅读0次

提高架构的性能

1.缓存系统。

加入缓存系统,可以有效地提高系统的访问能力。从前端的浏览器,到网络,再到后端的服务,底层的数据库、文件系统、硬盘和 CPU,全都有缓存,这是提高快速访问能力最有效的手段。对于分布式系统下的缓存系统,需要的是一个缓存集群。这其中需要一个 Proxy 来做缓存的分片和路由。

2.负载均衡系统,

是做水平扩展的关键技术。其可以用多台机器来共同分担一部分流量请求。

3.异步调用。

异步系统主要通过消息队列来对请求做排队处理,这样可以把前端的请求的峰值给“削平”了,而后端通过自己能够处理的速度来处理请求。这样可以增加系统的吞吐量,但是实时性就差很多了。同时,还会引入消息丢失的问题,所以要对消息做持久化,这会造成“有状态”的结点,从而增加了服务调度的难度。

4.数据分区和数据镜像。

数据分区是把数据按一定的方式分成多个区(比如通过地理位置),不同的数据区来分担不同区的流量。这需要一个数据路由的中间件,会导致跨库的 Join 和跨库的事务非常复杂。而数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由的中间件了。你可以在任意结点上进行读写,内部会自行同步数据。然而,数据镜像中最大的问题就是数据的一致性问题。

对于一般公司来说,在初期,会使用读写分离的数据镜像方式,而后期会采用分库分表的方式。

提高架构的稳定性

1.服务拆分,

主要有两个目的:一是为了隔离故障,二是为了重用服务模块。但服务拆分完之后,会引入服务调用间的依赖问题。

2.服务冗余,

是为了去除单点故障,并可以支持服务的弹性伸缩,以及故障迁移。然而,对于一些有状态的服务来说,冗余这些有状态的服务带来了更高的复杂性。其中一个是弹性伸缩时,需要考虑数据的复制或是重新分片,迁移的时候还要迁移数据到其它机器上。

3.限流降级。

当系统实在扛不住压力时,只能通过限流或者功能降级的方式来停掉一部分服务,或是拒绝一部分用户,以确保整个架构不会挂掉。这些技术属于保护措施。

4.高可用架构,

通常来说是从冗余架构的角度来保障可用性。比如,多租户隔离,灾备多活,或是数据可以在其中复制保持一致性的集群。总之,就是为了不出单点故障。

5.高可用运维,

指的是 DevOps 中的 CI(持续集成)/CD(持续部署)。一个良好的运维应该是一条很流畅的软件发布管线,其中做了足够的自动化测试,还可以做相应的灰度发布,以及对线上系统的自动化控制。这样,可以做到“计划内”或是“非计划内”的宕机事件的时长最短。

上述这些技术非常有技术含量,而且需要投入大量的时间和精力。

分布式系统的关键技术

1.服务治理。

服务拆分、服务调用、服务发现,服务依赖,服务的关键度定义……服务治理的最大意义是需要把服务间的依赖关系、服务调用链,以及关键的服务给梳理出来,并对这些服务进行性能和可用性方面的管理。

2.架构软件管理。

服务之间有依赖,而且有兼容性问题,所以,整体服务所形成的架构需要有架构版本管理、整体架构的生命周期管理,以及对服务的编排、聚合、事务处理等服务调度功能。

3.DevOps。

分布式系统可以更为快速地更新服务,但是对于服务的测试和部署都会是挑战。所以,还需要 DevOps 的全流程,其中包括环境构建、持续集成、持续部署等。

4.自动化运维。

有了 DevOps 后,我们就可以对服务进行自动伸缩、故障迁移、配置管理、状态管理等一系列的自动化运维技术了。

5.资源调度管理。

应用层的自动化运维需要基础层的调度支持,也就是云计算 IaaS 层的计算、存储、网络等资源调度、隔离和管理。

6.整体架构监控。

如果没有一个好的监控系统,那么自动化运维和资源调度管理只可能成为一个泡影,因为监控系统是你的眼睛。没有眼睛,没有数据,就无法进行高效的运维。所以说,监控是非常重要的部分。这里的监控需要对三层系统(应用层、中间件层、基础层)进行监控。

7.流量控制。

最后是我们的流量控制,负载均衡、服务路由、熔断、降级、限流等和流量相关的调度都会在这里,包括灰度发布之类的功能也在这里。

此时,你会发现,要做好这么多的技术,或是要具备这么多的能力,简直就是一个门槛,是一个成本巨高无比的技术栈,看着就都头晕。要实现出来得投入多少人力、物力和时间啊。是的,这就是分布式系统中最大的坑。

不过,我们应该庆幸自己生活在了一个非常不错的年代。今天有一个技术叫——Docker,通过 Docker 以及其衍生出来的 Kubernetes 之类的软件或解决方案,大大地降低了做上面很多事情的门槛。Docker 把软件和其运行的环境打成一个包,然后比较轻量级地启动和运行。在运行过程中,因为软件变成了服务可能会改变现有的环境。但是没关系,当你重新启动一个 Docker 的时候,环境又会变成初始化状态。

这样一来,我们就可以利用 Docker 的这个特性来把软件在不同的机器上进行部署、调度和管理。如果没有 Docker 或是 Kubernetes,那么你可以认为我们还活在“原始时代”。现在你知道为什么 Docker 这样的容器化虚拟化技术是未来了吧。因为分布式系统已经是完全不可逆转的技术趋势了。

相关文章

  • 左耳朵耗子|分布式系统技术栈

    提高架构的性能 1.缓存系统。 加入缓存系统,可以有效地提高系统的访问能力。从前端的浏览器,到网络,再到后端的服务...

  • 2018-05-09

    灵雀云 物联网技术周报第 135 期: 不了解边缘计算,你可能就要被“边缘”了 左耳朵耗子推荐:分布式系统架构经典...

  • 分布式

    每秒处理10万高并发订单的某集团支付系统架构分享分布式系统中的死锁处理分布式系统常用技术栈 nginx, rpc,...

  • 享知行·思考:万丈高楼平地起,聊聊基础那些事

    重新认识基础知识 最近在听陈皓(网名左耳朵耗子)的技术专栏,他是一个技术大牛,在亚马逊和阿里担任过架构师,对分布式...

  • 分布式系统的技术栈

    构建分布式系统的目的是增加系统容量,提高系统的可用性,转换成技术方面,也就是完成下面两件事。 大流量处理。通过集群...

  • 从一份定义文件详解ELK中Logstash插件结构

    概述 当下分布式系统的 日志收集、日志分析、日志处理、可视化 的热门技术栈方案当然非 ELK(ElasticSea...

  • 学习《左耳听风》专栏

    构建分布式系统的核心技术:1、全栈系统监控;2、服务/资源调度;3、流量调度;4、状态/数据调度; 一个好的监控系...

  • (3)分布式系统的技术栈

    一、提高架构的性能 1.缓存系统: 前端:浏览器、网络,后端:服务、数据库、文件系统、硬盘和 CPU,全都有缓存,...

  • SpringBoot+dubbo技术栈实现微服务,实现一个分布式

    SpringBoot+Dubbo技术栈实现微服务,实现一款分布式集群的电商系统。 源码已经全部上传好了,有需要的读...

  • 分布式消息通信及流行MQ框架

    分布式系统消息通信技术简介 分布式系统消息通信技术主要包括:RPC(Remote Procedure Call P...

网友评论

      本文标题:左耳朵耗子|分布式系统技术栈

      本文链接:https://www.haomeiwen.com/subject/euvmwftx.html