美文网首页
热点问题

热点问题

作者: byamao1 | 来源:发表于2018-12-11 10:49 被阅读0次

《淘宝大秒系统设计详解》

https://blog.csdn.net/heyc861221/article/details/80122167

要点

动静分离

数据分层校验

把大量静态不需要检验的数据放在离用户最近的地方;在前端读系统中检验一些基本信息,如用户是否具有秒杀资格、商品状态是否正常、用户答题是否正确、秒杀是否已经结束等;在写数据系统中再校验一些如是否是非法请求,营销等价物是否充足(淘金币等),写的数据一致性如检查库存是否还有等;最后在数据库层保证数据最终准确性,如库存不能减为负数。

同一商品大并发问题

解决方法:Localcache和数据的分层校验

虽然我们的Tair缓存机器单台也能支撑30w/s的请求,但是像大秒这种级别的热点商品还远不够,那如何彻底解决这种单点瓶颈?答案是采用应用层的Localcache,即在秒杀系统的单机上缓存商品相关的数据。
你可能会有疑问,像库存这种频繁更新数据一旦数据不一致会不会导致超卖?其实这就要用到我们前面介绍的读数据分层校验原则了,读的场景可以允许一定的脏数据,因为这里的误判只会导致少量一些原本已经没有库存的下单请求误认为还有库存而已,等到真正写数据时再保证最终的一致性。这样在数据的高可用性和一致性做平衡来解决这种高并发的数据读取问题。

同一数据大并发更新问题

解决方法:把热点商品放到单独的热点库中

分离热点商品到单独的数据库还是没有解决并发锁的问题,要解决并发锁有两层办法:

  • 应用层做排队。按照商品维度设置队列顺序执行,这样能减少同一台机器对数据库同一行记录操作的并发度,同时也能控制单个商品占用数据库连接的数量,防止热点商品占用太多数据库连接。

  • 数据库层做排队。应用层只能做到单机排队,但应用机器数本身很多,这种排队方式控制并发仍然有限,所以如果能在数据库层做全局排队是最理想的,淘宝的数据库团队开发了针对这种MySQL的InnoDB层上的patch,可以做到数据库层上对单行记录做到并发排队

思考

其他措施:限流和保护

其他数据热点问题:

  • 数据访问热点。
    一旦某个热点触发了一台机器的限流阀值,那么这台机器Cache的数据都将无效,进而间接导致Cache被击穿,请求落地应用层数据库出现雪崩现象。
    通用解决:Cache的client端做本地Localcache,当发现热点数据时直接Cache在client里,而不要请求到Cache的Server。

  • 数据更新热点。
    还有些场景,如对商品的lastmodifytime字段更新会非常频繁,在某些场景下这些多条SQL是可以合并的,一定时间内只执行最后一条SQL就行了,可以减少对数据库的update操作。另外热点商品的自动迁移,理论上也可以在数据路由层来完成,利用前面介绍的热点实时发现自动将热点从普通库里迁移出来放到单独的热点库中。

《Redis热点Key发现及常见解决方案》

https://www.jianshu.com/p/c034d6027d06

  • 读写分离方案
  • 在 Proxy 上增加本地缓存,本地缓存采用 LRU 算法来缓存热点数据,后端 db 节点增加热点数据计算模块来返回热点数据。

相关文章

  • 热点问题

    对于目前一些基于无人零售设备的商业模式,我的判断其实还是属于平庸的项目,个别拿到投资是因为他们在技术上有一定积累,...

  • 热点问题

    《淘宝大秒系统设计详解》 https://blog.csdn.net/heyc861221/article/det...

  • 热点问题

    不要着急,就好比今天华为汽车。每次要解决一个大矛盾,不要主次不分。还是要做好准备,五事七计,在股市,个股而言,就是...

  • TiDB 4.0 为解决热点问题做了哪些改进?

    作者:李坤 热点问题概述 一直以来,TiDB 的数据访问热点问题,是用户比较关注的问题。为什么这个问题如此突出呢?...

  • 淄博医保门诊慢性病

    淄博医保热点问题121问————门诊慢性病篇 为进一步做好医保政策宣传工作,淄博市医保局编制《淄博医保热点问题12...

  • 近期热点问题

    2019/12/03#一起成长读书会##效能加油站#张利锋阅读分享第361天 前几天网上一大批爆出网易对辞退的员工...

  • 热点问题优化

    前言 我们在做各种业务研发的时候经常会碰到热点问题影响系统稳定性和性能瓶颈,例如支付系统中的热点账户进出款,电商系...

  • 热点问题问答

    【一】赚钱有道 大家经常会问,怎样可以赚钱呢? (1)赚钱还需自身硬。你要有真本事,要有真正价值,或有能力为别人创...

  • 确立核心价值观:从学生干部的“官威”谈起

    国庆期间,发生了不少热点问题,其中,发生在大学校园的热点问题也引起了人们的高度关注,那就是大学生“官威”一事。比如...

  • 追热点,能不能写出好文章

    以前一个热点问题,往往可以有三五天、一个星期的热度,现在一个热点问题,一天的热度就差不多了,几乎每天都有新的热点事...

网友评论

      本文标题:热点问题

      本文链接:https://www.haomeiwen.com/subject/lczecqtx.html