一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

SQL優(yōu)化之SELECT COUNT(*)

 Coder編程 2022-03-22

前言

SQL優(yōu)化之SQL 進階技巧(上) SQL優(yōu)化之SQL 進階技巧(下)中提到使用以下 sql 會導致慢查詢



SELECT COUNT(*) FROM SomeTable
SELECT COUNT(1) FROM SomeTable

原因是會造成全表掃描,有位讀者說這種說法是有問題的,實際上針對無 where_clause 的 COUNT(*),MySQL 是有優(yōu)化的,優(yōu)化器會選擇成本最小的輔助索引查詢計數(shù),其實反而性能最高,這位讀者的說法對不對呢

針對這個疑問,我首先去生產(chǎn)上找了一個千萬級別的表使用  EXPLAIN 來查詢了一下執(zhí)行計劃


EXPLAIN SELECT COUNT(*) FROM SomeTable

結(jié)果如下

我說 SELECT COUNT(*) 會造成全表掃描,面試官讓我回去等通知

如圖所示: 發(fā)現(xiàn)確實此條語句在此例中用到的并不是主鍵索引,而是輔助索引,實際上在此例中我試驗了,不管是 COUNT(1),還是 COUNT(*),MySQL 都會用成本最小的輔助索引查詢方式來計數(shù),也就是使用 COUNT(*) 由于 MySQL 的優(yōu)化已經(jīng)保證了它的查詢性能是最好的!隨帶提一句,COUNT(*)是 SQL92 定義的標準統(tǒng)計行數(shù)的語法,并且效率高,所以請直接使用COUNT(*)查詢表的行數(shù)!

所以這位讀者的說法確實是對的。但有個前提,在 MySQL 5.6 之后的版本中才有這種優(yōu)化。

那么這個成本最小該怎么定義呢,有時候在 WHERE 中指定了多個條件,為啥最終 MySQL 執(zhí)行的時候卻選擇了另一個索引,甚至不選索引?

本文將會給你答案,本文將會從以下兩方面來分析

  • SQL 選用索引的執(zhí)行成本如何計算
  • 實例說明

SQL 選用索引的執(zhí)行成本如何計算

就如前文所述,在有多個索引的情況下, 在查詢數(shù)據(jù)前,MySQL 會選擇成本最小原則來選擇使用對應(yīng)的索引,這里的成本主要包含兩個方面。

  • IO 成本: 即從磁盤把數(shù)據(jù)加載到內(nèi)存的成本,默認情況下,讀取數(shù)據(jù)頁的 IO 成本是 1,MySQL 是以頁的形式讀取數(shù)據(jù)的,即當用到某個數(shù)據(jù)時,并不會只讀取這個數(shù)據(jù),而會把這個數(shù)據(jù)相鄰的數(shù)據(jù)也一起讀到內(nèi)存中,這就是有名的程序局部性原理,所以 MySQL 每次會讀取一整頁,一頁的成本就是 1。所以 IO 的成本主要和頁的大小有關(guān)
  • CPU 成本:將數(shù)據(jù)讀入內(nèi)存后,還要檢測數(shù)據(jù)是否滿足條件和排序等 CPU 操作的成本,顯然它與行數(shù)有關(guān),默認情況下,檢測記錄的成本是 0.2。

實例說明

為了根據(jù)以上兩個成本來算出使用索引的最終成本,我們先準備一個表(以下操作基于 MySQL 5.7.18)


CREATE TABLE person (
  id bigint(20) NOT NULL AUTO_INCREMENT,
  name varchar(255) NOT NULL,
  score int(11) NOT NULL,
  create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (id),
  KEY name_score (name(191),score),
  KEY create_time (create_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

這個表除了主鍵索引之外,還有另外兩個索引, name_score 及 create_time。然后我們在此表中插入 10 w 行數(shù)據(jù),只要寫一個存儲過程調(diào)用即可,如下:


CREATE PROCEDURE insert_person()
begin
declare c_id integer default 1;
    while c_id<=100000 do
insert into person values(c_id, concat('name',c_id), c_id+100, date_sub(NOW(), interval c_id second));
set c_id=c_id+1;
end while;
end

插入之后我們現(xiàn)在使用 EXPLAIN 來計算下統(tǒng)計總行數(shù)到底使用的是哪個索引


EXPLAIN SELECT COUNT(*) FROM person
我說 SELECT COUNT(*) 會造成全表掃描,面試官讓我回去等通知

從結(jié)果上看它選擇了 create_time 輔助索引,顯然 MySQL 認為使用此索引進行查詢成本最小,這也是符合我們的預期,使用輔助索引來查詢確實是性能最高的!

我們再來看以下 SQL 會使用哪個索引


SELECT * FROM person WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18'

我說 SELECT COUNT(*) 會造成全表掃描,面試官讓我回去等通知

用了全表掃描!理論上應(yīng)該用 name_score 或者 create_time 索引才對,從 WHERE 的查詢條件來看確實都能命中索引,那是否是使用 SELECT * 造成的回表代價太大所致呢,我們改成覆蓋索引的形式試一下


SELECT create_time FROM person WHERE NAME >'name84059' AND create_time > '2020-05-23 14:39:18'

結(jié)果 MySQL 依然選擇了全表掃描!這就比較有意思了,理論上采用了覆蓋索引的方式進行查找性能肯定是比全表掃描更好的,為啥 MySQL 選擇了全表掃描呢,既然它認為全表掃描比使用覆蓋索引的形式性能更好,那我們分別用這兩者執(zhí)行來比較下查詢時間吧


-- 全表掃描執(zhí)行時間: 4.0 ms
SELECT create_time FROM person WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18'

-- 使用覆蓋索引執(zhí)行時間: 2.0 ms
SELECT create_time FROM person force index(create_time) WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18' 

從實際執(zhí)行的效果看使用覆蓋索引查詢比使用全表掃描執(zhí)行的時間快了一倍!說明 MySQL 在查詢前做的成本估算不準!我們先來看看 MySQL 做全表掃描的成本有多少。

前面我們說了成本主要 IO 成本和 CPU 成本有關(guān),對于全表掃描來說也就是分別和聚簇索引占用的頁面數(shù)和表中的記錄數(shù)。執(zhí)行以下命令


SHOW TABLE STATUS LIKE 'person'
我說 SELECT COUNT(*) 會造成全表掃描,面試官讓我回去等通知

可以發(fā)現(xiàn)

  1. 行數(shù)是 100264,我們不是插入了 10 w 行的數(shù)據(jù)了嗎,怎么算出的數(shù)據(jù)反而多了,其實這里的計算是估算,也有可能這里的行數(shù)統(tǒng)計出來比 10 w 少了,估算方式有興趣大家去網(wǎng)上查找,這里不是本文重點,就不展開了。得知行數(shù),那我們知道 CPU 成本是 100264 * 0.2 = 20052.8。

  2. 數(shù)據(jù)長度是 5783552,InnoDB 每個頁面的大小是 16 KB,可以算出頁面數(shù)量是 353。

也就是說全表掃描的成本是 20052.8 + 353 =  20406。

這個結(jié)果對不對呢,我們可以用一個工具驗證一下。在 MySQL 5.6 及之后的版本中,我們可以用 optimizer trace 功能來查看優(yōu)化器生成計劃的整個過程 ,它列出了選擇每個索引的執(zhí)行計劃成本以及最終的選擇結(jié)果,我們可以依賴這些信息來進一步優(yōu)化我們的 SQL。

optimizer_trace 功能使用如下



SET optimizer_trace="enabled=on";
SELECT create_time FROM person WHERE NAME >'name84059' AND create_time > '2020-05-23 14:39:18';
SELECT * FROM information_schema.OPTIMIZER_TRACE;
SET optimizer_trace="enabled=off";

執(zhí)行之后我們主要觀察使用 name_score,create_time 索引及全表掃描的成本。

先來看下使用 name_score 索引執(zhí)行的的預估執(zhí)行成本:


{
"index": "name_score",
"ranges": [
"name84059 <= name"
    ],
"index_dives_for_eq_ranges": true,
"rows": 25372,
"cost": 30447
}

可以看到執(zhí)行成本為 30447,高于我們之前算出來的全表掃描成本:20406。所以沒選擇此索引執(zhí)行

注意:這里的 30447 是查詢二級索引的 IO 成本和 CPU 成本之和,再加上回表查詢聚簇索引的 IO 成本和 CPU 成本之和。

再來看下使用 create_time 索引執(zhí)行的的預估執(zhí)行成本:


{
    "index": "create_time",
    "ranges": [
      "0x5ec8c516 < create_time"
    ],
    "index_dives_for_eq_ranges": true,
    "rows": 50132,
    "cost": 60159,
    "cause": "cost"
}

可以看到成本是 60159,遠大于全表掃描成本 20406,自然也沒選擇此索引。

再來看計算出的全表掃描成本:



{
    "considered_execution_plans": [
      {
        "plan_prefix": [
        ],
        "table": "`person`",
        "best_access_path": {
          "considered_access_paths": [
            {
              "rows_to_scan": 100264,
              "access_type": "scan",
              "resulting_rows": 100264,
              "cost": 20406,
              "chosen": true
            }
          ]
        },
        "condition_filtering_pct": 100,
        "rows_for_plan": 100264,
        "cost_for_plan": 20406,
        "chosen": true
      }
    ]
}

 

注意看 cost:20406,與我們之前算出來的完全一樣!這個值在以上三者算出的執(zhí)行成本中最小,所以最終 MySQL 選擇了用全表掃描的方式來執(zhí)行此 SQL。

實際上 optimizer trace 詳細列出了覆蓋索引,回表的成本統(tǒng)計情況,有興趣的可以去研究一下。

從以上分析可以看出, MySQL 選擇的執(zhí)行計劃未必是最佳的,原因有挺多,就比如上文說的行數(shù)統(tǒng)計信息不準,再比如 MySQL 認為的最優(yōu)跟我們認為不一樣,我們可以認為執(zhí)行時間短的是最優(yōu)的,但 MySQL 認為的成本小未必意味著執(zhí)行時間短。

總結(jié)

本文通過一個例子深入剖析了 MySQL 的執(zhí)行計劃是如何選擇的,以及為什么它的選擇未必是我們認為的最優(yōu)的,這也提醒我們,在生產(chǎn)中如果有多個索引的情況,使用 WHERE 進行過濾未必會選中你認為的索引,我們可以提前使用  EXPLAIN, optimizer trace 來優(yōu)化我們的查詢語句。

 

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    国产精品美女午夜视频| 日韩三极片在线免费播放| 精品少妇一区二区视频| 草草草草在线观看视频| 国产亚州欧美一区二区| 国产精品免费福利在线| 中文字幕禁断介一区二区| 亚洲中文字幕三区四区| 国产精品国三级国产专不卡| 麻豆tv传媒在线观看| 黄色片国产一区二区三区| 黄片在线免费看日韩欧美| 欧美日韩综合免费视频| 亚洲日本韩国一区二区三区| 日本本亚洲三级在线播放| 久久香蕉综合网精品视频| 人妻一区二区三区在线| 久久亚洲国产视频三级黄| 欧美大黄片在线免费观看| 在线日韩欧美国产自拍| 日韩一区二区三区观看| 九九热精彩视频在线播放| 国产又粗又深又猛又爽又黄| 国产午夜精品亚洲精品国产| 日韩欧美一区二区久久婷婷| 在线观看视频成人午夜| 亚洲精品蜜桃在线观看| 国产精品蜜桃久久一区二区| 亚洲中文字幕剧情在线播放| 亚洲国产性感美女视频| 色播五月激情五月婷婷| 国产一区二区三区免费福利| 夫妻性生活一级黄色录像| 日韩精品在线观看完整版| 隔壁的日本人妻中文字幕版| 99国产高清不卡视频| 国产精品一区二区高潮| 亚洲欧美日本国产有色| 欧美日不卡无在线一区| 国产精品免费视频久久| 精品一区二区三区三级视频|