浅谈数据库索引的结构设计与优化 - Go语言中文社区

浅谈数据库索引的结构设计与优化


浅谈数据库索引的结构设计与优化

 

 一. 了解数据库索引的必要性

  对于稍微数据量大一点的表,如果不适用索引,那么性能效率都会很低;如果绕开了索引,直接进行分区分表,数据库集群读写分离来解决性能问题的话,那么未免也太小题大做了。

  对于大多数中小型系统,索引能够帮你解决90%的性能问题,所以索引是解决关系型数据库非常有利的武器。

 

 

二. 表和索引结构

 

  1.索引页和表页

    表和索引都是存在页中。页的大小一般是4KB.页的大小仅仅决定了一个页能存储多少个索引行,表行。

  2.索引行

    索引行是很有用的一个概念对于访问路径的时候。索引行的概念可以通过下图来了解:

      

    每一个页上包含了很多索引行,每个索引行里存储着索引条目和指向下一层的页,这种数据结构为B-tree结构。

 

  3.缓冲池和磁盘I/O

    我们可以使用内存的缓冲池来减小到磁盘的访问。这一策略对sql性能表现至关重要。下图展示了磁盘读取到缓冲区的巨大成本:

  

      

    当我们需要某一页的一行数据时,和需要这一页的数据时,所花费的时间是相等的。可以通过执行:show global status like 'innodb%read%';来判断缓存命中的情况,具体的参数可以自行在网上查找:

      

      可以算出来缓存命中率为=260850/(64+260850+1927)=99.24%,是很高的命中率了。

  4.硬件特性

    硬盘磁盘的图可以用下图简单表示:

      

    我们的数据库表里的数据就保存在磁盘上,如果要读取数据,就要砖头磁盘,用磁头和磁盘的磁力来改变状态,来读取数据,所以,我们应该尽量少的转动磁盘,来优化数据库性能。

  

三.SQL处理过程

  我们现在先讨论基础的处理过程,先来谈谈处理过程的一些基本概念。

  1.关键字(谓词)

  where子句由一个或者多个谓词组成,比如说:

    

  

   那么这个就有一个组合谓词,组合谓词是索引设计的主要入手点。

  2.过滤因子

  过滤因子是描述谓词的选择性,它主要依赖于列值的分布情况。它是一个计算值,公式为:

        

  用来计算谓词结果集的返回大小估算。

 

  3.物化结果集

  是执行数据库访问来构建结果集。最好的情况下,是从数据库缓冲池返回一条记录,最坏的情况就是访问大量的磁盘读取数据。

  物化结果集有2种方式:

            1.一次FETCH物化返回一条数据

            2.提前物化

 

 

四.为SELECT语句创建理想索引

 

  1.三星索引

  三星索引是指一条sql所能达到索引的最优设计。

  第一颗星:

    如果与一个查询相关的索引行是相邻的,那么这个索引就为第一颗星。

  第二颗星:

    如果索引行的顺序与查询语句一致,则为第二颗星。

  第三颗星:

    查询的数据为索引的信息,不需要额外的磁盘随机读。这一颗星能大大改善性能。

  假设有一条sql语句如下所示:

    

 

  如果要满足一星索引:索引的顺序可以是LNAME,CITY或者CITY,LNAME

  如果要满足第二星索引:FNAME加在LNAME,CITY或者CITY,LNAME后面

  如果要满足第三索引:CNO也要在索引里面

  那么组合起来得三星索引就是:LNAME,CITY,FNAME,CNO或者CITY,LNAME,FNAME,CNO

 

 

五.前瞻性索引

 

  1.发现不合适的索引

  有两种基本的方法来发现不合适的索引:

            1.基本问题法(BQ)

            2.快速上线评估法(QUBE)

 

  在这里我仅仅讨论一下快速上线评估法(QUBE)

  

  2.快速上线评估法(QUBE)

 

   QUBE是悲观上限,它的目的是在早期发现程序设计的缺陷,并且及时更改。QUBE忽略了排队时间,锁竞争时间等,把问题单一化来评估sql的性能问题。

   下图就是QUBE计算评估sql时间公式:

              

 

 

   可以发现,TR和TS存在巨大的时间差距,随机访问会消耗大量的时间,那么来说说随机和顺序访问。

  随机访问:

    先说一说磁盘读和访问的区别。读是读取一页的信息,访问时访问一行的信息。所以单次随机访问的时间与一次磁盘随机读取的时间相同,都是10ms。

  顺序访问:

    一次顺序读是指物理上读取连续的下一行,这一行要么在同一页中,要么在下一页中,估算出来时间是0.01ms。

  FETCH:

    是FETCH调用次数来确定被接收行的数量。F的时间数量级要比TS大一级,但是要比TR小2级。

 

 

  下面给出一个简单的事例来说明QUBE计算方法:

      

  那么可以根据上面的公式得到:

      

 

 

  QUBE算法其实可以多结合自己的项目事例来计算判断一下,因为这个公式是很多年前的了,现在磁盘读写能力肯定有了显著提升,但是判断sql性能的方式是一致的。

      

 

posted on 2019-04-19 13:34 流星划过天际 阅读(...) 评论(...) 编辑 收藏
版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/qq_35347505/article/details/91864473
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2019-09-05 17:39:29
  • 阅读 ( 1103 )
  • 分类:数据库

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢