美文网首页
超大表优化

超大表优化

作者: 我是一名搬运工 | 来源:发表于2019-06-25 13:20 被阅读0次

对于千万级的大表,需要进行优化,优化的顺序和难易顺序如下:

第一步:先优化索引和SQL语句;

第二步:垂直分表加缓存,拆分出常用字段表和非常用字段表,常用字段表用缓存redis;

第三步:通过做主从复制,来实现读写分离,工具可以用mycat或者直接用replication;

第四步:使用partition对表进行分区,把表数据均匀分布到多个分区;

第五步:垂直分库,把数据库按业务拆成多个库,系统也拆成多个分布式系统;

第六步:水平分表,使用sharding key水平拆分(大招,很复杂,至少提前半年准备)

相关文章

  • MySQL性能调优(二)架构优化--表结构合理设计

    文章目录结构1、表结构设计优化2、表数据存储1、二进制多媒体文件2、流水队列数据3、超大文本数据 表结构的设计十分...

  • MySQL 数据库优化方法一览

    软优化 查询语句优化 使用索引 优化子查询 分解表 使用中间表 增加冗余字段 分析表、检查表、优化表 硬优化 硬件...

  • mysql-索引优化

    # 单表、两表、三表的优化案例 如何建立索引并优化 -在explain的基础上进行优化: ## 建表 create...

  • MySQL优化框架

    1,SQL语句优化 2,索引优化 3,数据库结构优化 4,InnoDB表优化 5,MyISAM表优化 6,Memo...

  • Hive优化实践2-大表join小表优化

    4、大表join小表优化和join相关的优化主要分为mapjoin可以解决的优化(即大表join小表)和mapjo...

  • 【Hive】优化

    分区表的设计和优化 普通表结构问题 使用分区表可以优化上述查询问题 分桶表的设计和优化 Join问题 分桶表设计 ...

  • 七、Mysql优化

    groupBy优化——filesort 联表优化——NLJ和BNL 索引查询优化——ICP

  • Mysql索引优化

    1、单表索引优化 单表索引优化分析 创建表 建表 SQL 表中的测试数据 查询案例 查询category_id为1...

  • Hive优化

    这里从四个方面对 Hive 常用的一些性能优化进行了总结。 一 : 表设计层面优化 利用分区表优化 分区表 是在某...

  • 企业IT架构笔记6  分库

    垂直分库,读写分离,水平分库(单表数据记录超大),分表,异构数据表或索引表(空间换时间) 1、读写分离:主库承担增...

网友评论

      本文标题:超大表优化

      本文链接:https://www.haomeiwen.com/subject/xicccctx.html