無(wú)論你是技術(shù)大佬,還是剛?cè)胄械男“?,時(shí)不時(shí)都會(huì)踩到Mysql數(shù)據(jù)庫(kù)不走索引的坑。常見的現(xiàn)象就是:明明在字段上添加了索引,但卻并未生效。 前些天就遇到一個(gè)稍微特殊的場(chǎng)景,同一條SQL語(yǔ)句,在某些參數(shù)下生效,在某些參數(shù)下不生效,這是為什么呢? 另外,無(wú)論是面試或是日常,Mysql索引失效的通常情況都應(yīng)該了解和學(xué)習(xí)。 為了方便學(xué)習(xí)和記憶,這篇文件將常見的15種不走索引情況進(jìn)行匯總,并以實(shí)例展示,幫助大家更好地避免踩坑。建議收藏,以備不時(shí)之需。 數(shù)據(jù)庫(kù)及索引準(zhǔn)備創(chuàng)建表結(jié)構(gòu)為了逐項(xiàng)驗(yàn)證索引的使用情況,我們先準(zhǔn)備一張表t_user:
在上述表結(jié)構(gòu)中有三個(gè)索引:
初始化數(shù)據(jù)初始化數(shù)據(jù)分兩部分:基礎(chǔ)數(shù)據(jù)和批量導(dǎo)入數(shù)據(jù)。 基礎(chǔ)數(shù)據(jù)insert了4條數(shù)據(jù),其中第4條數(shù)據(jù)的創(chuàng)建時(shí)間為未來(lái)的時(shí)間,用于后續(xù)特殊場(chǎng)景的驗(yàn)證:
除了基礎(chǔ)數(shù)據(jù),還有一條存儲(chǔ)過(guò)程及其調(diào)用的SQL,方便批量插入數(shù)據(jù),用來(lái)驗(yàn)證數(shù)據(jù)比較多的場(chǎng)景:
關(guān)于存儲(chǔ)過(guò)程的創(chuàng)建和存儲(chǔ),可暫時(shí)不執(zhí)行,當(dāng)用到時(shí)再執(zhí)行。 數(shù)據(jù)庫(kù)版本及執(zhí)行計(jì)劃查看當(dāng)前數(shù)據(jù)庫(kù)的版本:
上述為本人測(cè)試的數(shù)據(jù)庫(kù)版本: 查看SQL語(yǔ)句執(zhí)行計(jì)劃,一般我們都采用 執(zhí)行示例:
執(zhí)行結(jié)果: 可以看到上述SQL語(yǔ)句使用了主鍵索引(PRIMARY), 其中 做好以上數(shù)據(jù)及知識(shí)的準(zhǔn)備,下面就開始講解具體索引失效的實(shí)例了。 1 聯(lián)合索引不滿足最左匹配原則聯(lián)合索引遵從最左匹配原則,顧名思義,在聯(lián)合索引中,最左側(cè)的字段優(yōu)先匹配。因此,在創(chuàng)建聯(lián)合索引時(shí),where子句中使用最頻繁的字段放在組合索引的最左側(cè)。 而在查詢時(shí),要想讓查詢條件走索引,則需滿足:最左邊的字段要出現(xiàn)在查詢條件中。 實(shí)例中,
最左邊的字段為id_no,一般情況下,只要保證id_no出現(xiàn)在查詢條件中,則會(huì)走該聯(lián)合索引。 示例一:
explain結(jié)果: 通過(guò)explain執(zhí)行結(jié)果可以看出,上述SQL語(yǔ)句走了 這里再普及一下key_len的計(jì)算:
上面演示了key_len一種情況的計(jì)算過(guò)程,后續(xù)不再進(jìn)行逐一推演,知道基本組成和原理即可,更多情況大家可自行查看。 示例二:
explain結(jié)果: 很顯然,依舊走了 示例三:
explain結(jié)果: 走了 當(dāng)然,還有三列都在查詢條件中的情況,就不再舉例了。上面都是走索引的正向例子,也就是滿足 反向示例:
explain結(jié)果: 此時(shí),可以看到未走任何索引,也就是說(shuō)索引失效了。 同樣的,下面只要沒出現(xiàn)最左條件的組合,索引也是失效的:
那么,第一種索引失效的場(chǎng)景就是:在聯(lián)合索引的場(chǎng)景下,查詢條件不滿足最左匹配原則。 2 使用了select *在《阿里巴巴開發(fā)手冊(cè)》的ORM映射章節(jié)中有一條【強(qiáng)制】的規(guī)范:
雖然在規(guī)范手冊(cè)中沒有提到索引方面的問(wèn)題,但禁止使用 比如,在上面的聯(lián)合索引中,如果查詢條件是age或username,當(dāng)使用了 但如果希望根據(jù)username查詢出id_no、username、age這三個(gè)結(jié)果(均為索引字段),明確查詢結(jié)果字段,是可以走
explain結(jié)果: 無(wú)論查詢條件是 第二種索引失效場(chǎng)景:在聯(lián)合索引下,盡量使用明確的查詢列來(lái)趨向于走覆蓋索引; 這一條不走索引的情況屬于優(yōu)化項(xiàng),如果業(yè)務(wù)場(chǎng)景滿足,則進(jìn)來(lái)促使SQL語(yǔ)句走索引。至于阿里巴巴開發(fā)手冊(cè)中的規(guī)范,只不過(guò)是兩者撞到一起了,規(guī)范本身并不是為這條索引規(guī)則而定的。 3 索引列參與運(yùn)算直接來(lái)看示例:
explain結(jié)果: 可以看到,即便id列有索引,由于進(jìn)行了計(jì)算處理,導(dǎo)致無(wú)法正常走索引。 針對(duì)這種情況,其實(shí)不單單是索引的問(wèn)題,還會(huì)增加數(shù)據(jù)庫(kù)的計(jì)算負(fù)擔(dān)。就以上述SQL語(yǔ)句為例,數(shù)據(jù)庫(kù)需要全表掃描出所有的id字段值,然后對(duì)其計(jì)算,計(jì)算之后再與參數(shù)值進(jìn)行比較。如果每次執(zhí)行都經(jīng)歷上述步驟,性能損耗可想而知。 建議的使用方式是:先在內(nèi)存中進(jìn)行計(jì)算好預(yù)期的值,或者在SQL語(yǔ)句條件的右側(cè)進(jìn)行參數(shù)值的計(jì)算。 針對(duì)上述示例的優(yōu)化如下:
第三種索引失效情況:索引列參與了運(yùn)算,會(huì)導(dǎo)致全表掃描,索引失效。 4 索引列參使用了函數(shù)示例:
explain結(jié)果: 上述示例中,索引列使用了函數(shù)(SUBSTR,字符串截?。?,導(dǎo)致索引失效。 此時(shí),索引失效的原因與第三種情況一樣,都是因?yàn)閿?shù)據(jù)庫(kù)要先進(jìn)行全表掃描,獲得數(shù)據(jù)之后再進(jìn)行截取、計(jì)算,導(dǎo)致索引索引失效。同時(shí),還伴隨著性能問(wèn)題。 示例中只列舉了SUBSTR函數(shù),像CONCAT等類似的函數(shù),也都會(huì)出現(xiàn)類似的情況。解決方案可參考第三種場(chǎng)景,可考慮先通過(guò)內(nèi)存計(jì)算或其他方式減少數(shù)據(jù)庫(kù)來(lái)進(jìn)行內(nèi)容的處理。 第四種索引失效情況:索引列參與了函數(shù)處理,會(huì)導(dǎo)致全表掃描,索引失效。 5 錯(cuò)誤的Like使用示例:
explain結(jié)果: 針對(duì)
其中方式一和方式三,由于占位符出現(xiàn)在首部,導(dǎo)致無(wú)法走索引。這種情況不做索引的原因很容易理解,索引本身就相當(dāng)于目錄,從左到右逐個(gè)排序。而條件的左側(cè)使用了占位符,導(dǎo)致無(wú)法按照正常的目錄進(jìn)行匹配,導(dǎo)致索引失效就很正常了。 第五種索引失效情況:模糊查詢時(shí)(like語(yǔ)句),模糊匹配的占位符位于條件的首部。 6 類型隱式轉(zhuǎn)換示例:
explain結(jié)果:
出現(xiàn)索引失效的原因是:varchar和int是兩個(gè)種不同的類型。 解決方案就是將參數(shù) 第六種索引失效情況:參數(shù)類型與字段類型不匹配,導(dǎo)致類型發(fā)生了隱式轉(zhuǎn)換,索引失效。 這種情況還有一個(gè)特例,如果字段類型為int類型,而查詢條件添加了單引號(hào)或雙引號(hào),則Mysql會(huì)參數(shù)轉(zhuǎn)化為int類型,雖然使用了單引號(hào)或雙引號(hào):
上述語(yǔ)句是依舊會(huì)走索引的。 7、使用OR操作OR是日常使用最多的操作關(guān)鍵字了,但使用不當(dāng),也會(huì)導(dǎo)致索引失效。 示例:
explain結(jié)果: 看到上述執(zhí)行結(jié)果是否是很驚奇啊,明明id字段是有索引的,由于使用 其實(shí),換一個(gè)角度來(lái)想,如果單獨(dú)使用 但如果or兩邊同時(shí)使用“>”和“<”,則索引也會(huì)失效:
explain結(jié)果: 第七種索引失效情況:查詢條件使用or關(guān)鍵字,其中一個(gè)字段沒有創(chuàng)建索引,則會(huì)導(dǎo)致整個(gè)查詢語(yǔ)句索引失效;or兩邊為“>”和“<”范圍查詢時(shí),索引失效。 8 兩列做比較如果兩個(gè)列數(shù)據(jù)都有索引,但在查詢條件中對(duì)兩列數(shù)據(jù)進(jìn)行了對(duì)比操作,則會(huì)導(dǎo)致索引失效。 這里舉個(gè)不恰當(dāng)?shù)氖纠?,比如age小于id這樣的兩列(真實(shí)場(chǎng)景可能是兩列同維度的數(shù)據(jù)比較,這里遷就現(xiàn)有表結(jié)構(gòu)):
explain結(jié)果: 這里雖然id有索引,age也可以創(chuàng)建索引,但當(dāng)兩列做比較時(shí),索引還是會(huì)失效的。 第八種索引失效情況:兩列數(shù)據(jù)做比較,即便兩列都創(chuàng)建了索引,索引也會(huì)失效。 9 不等于比較示例:
explain結(jié)果: 當(dāng)查詢條件為字符串時(shí),使用”<>“或”!=“作為條件查詢,有可能不走索引,但也不全是。
上述SQL中,由于“2022-02-27 09:56:42”是存儲(chǔ)過(guò)程在同一秒生成的,大量數(shù)據(jù)是這個(gè)時(shí)間。執(zhí)行之后會(huì)發(fā)現(xiàn),當(dāng)查詢結(jié)果集占比比較小時(shí),會(huì)走索引,占比比較大時(shí)不會(huì)走索引。此處與結(jié)果集與總體的占比有關(guān)。 需要注意的是:上述語(yǔ)句如果是
explain結(jié)果: 第九種索引失效情況:查詢條件使用不等進(jìn)行比較時(shí),需要慎重,普通索引會(huì)查詢結(jié)果集占比較大時(shí)索引會(huì)失效。 10 is not null示例:
explain結(jié)果: 第十種索引失效情況:查詢條件使用is null時(shí)正常走索引,使用is not null時(shí),不走索引。 11 not in和not exists在日常中使用比較多的范圍查詢有in、exists、not in、not exists、between and等。
上述四種語(yǔ)句執(zhí)行時(shí)都會(huì)正常走索引,具體的explain結(jié)果就不再展示。主要看不走索引的情況:
explain結(jié)果: 當(dāng)使用
explain結(jié)果: 如果是主鍵,則正常走索引。 第十一種索引失效情況:查詢條件使用not in時(shí),如果是主鍵則走索引,如果是普通索引,則索引失效。 再來(lái)看看
explain結(jié)果: 當(dāng)查詢條件使用 第十二種索引失效情況:查詢條件使用not exists時(shí),索引失效。 12 order by導(dǎo)致索引失效示例:
explain結(jié)果: 其實(shí)這種情況的索引失效很容易理解,畢竟需要對(duì)全表數(shù)據(jù)進(jìn)行排序處理。 那么,添加刪limit關(guān)鍵字是否就走索引了呢?
explain結(jié)果: 結(jié)果依舊不走索引。在網(wǎng)絡(luò)上看到有說(shuō)如果 這里還有一個(gè)特例,就是主鍵使用
explain結(jié)果: 可以看出針對(duì)主鍵,還是 另外,筆者測(cè)試如下SQL語(yǔ)句:
上述三條SQL語(yǔ)句都是走索引的,也就是說(shuō)覆蓋索引的場(chǎng)景也是可以正常走索引的。 現(xiàn)在將
explain結(jié)果: 上述兩個(gè)SQL語(yǔ)句,都未走索引。 第十三種索引失效情況:當(dāng)查詢條件涉及到order by、limit等條件時(shí),是否走索引情況比較復(fù)雜,而且與Mysql版本有關(guān),通常普通索引,如果未使用limit,則不會(huì)走索引。order by多個(gè)索引字段時(shí),可能不會(huì)走索引。其他情況,建議在使用時(shí)進(jìn)行expain驗(yàn)證。 13 參數(shù)不同導(dǎo)致索引失效此時(shí),如果你還未執(zhí)行最開始創(chuàng)建的存儲(chǔ)過(guò)程,建議你先執(zhí)行一下存儲(chǔ)過(guò)程,然后執(zhí)行如下SQL:
其中,時(shí)間是未來(lái)的時(shí)間,確保能夠查到數(shù)據(jù)。 explain結(jié)果: 可以看到,正常走索引。 隨后,我們將查詢條件的參數(shù)換個(gè)日期:
explain結(jié)果: 此時(shí),進(jìn)行了全表掃描。這也是最開始提到的奇怪的現(xiàn)象。 為什么同樣的查詢語(yǔ)句,只是查詢的參數(shù)值不同,卻會(huì)出現(xiàn)一個(gè)走索引,一個(gè)不走索引的情況呢? 答案很簡(jiǎn)單:上述索引失效是因?yàn)镈BMS發(fā)現(xiàn)全表掃描比走索引效率更高,因此就放棄了走索引。 也就是說(shuō),當(dāng)Mysql發(fā)現(xiàn)通過(guò)索引掃描的行記錄數(shù)超過(guò)全表的10%-30%時(shí),優(yōu)化器可能會(huì)放棄走索引,自動(dòng)變成全表掃描。某些場(chǎng)景下即便強(qiáng)制SQL語(yǔ)句走索引,也同樣會(huì)失效。 類似的問(wèn)題,在進(jìn)行范圍查詢(比如>、< 、>=、<=、in等條件)時(shí)往往會(huì)出現(xiàn)上述情況,而上面提到的臨界值根據(jù)場(chǎng)景不同也會(huì)有所不同。 第十四種索引失效情況:當(dāng)查詢條件為大于等于、in等范圍查詢時(shí),根據(jù)查詢結(jié)果占全表數(shù)據(jù)比例的不同,優(yōu)化器有可能會(huì)放棄索引,進(jìn)行全表掃描。 14 其他當(dāng)然,還有其他一些是否走索引的規(guī)則,這與索引的類型是B-tree索引還是位圖索引也有關(guān)系,就不再詳細(xì)展開。 這里要說(shuō)的其他,可以總結(jié)為第十五種索引失效的情況:Mysql優(yōu)化器的其他優(yōu)化策略,比如優(yōu)化器認(rèn)為在某些情況下,全表掃描比走索引快,則它就會(huì)放棄索引。 針對(duì)這種情況,一般不用過(guò)多理會(huì),當(dāng)發(fā)現(xiàn)問(wèn)題時(shí)再定點(diǎn)排查即可。 小結(jié)本篇文章為大家總結(jié)了15個(gè)常見的索引失效的場(chǎng)景,由于不同的Mysql版本,索引失效策略也有所不同。大多數(shù)索引失效情況都是明確的,有少部分索引失效會(huì)因Mysql的版本不同而有所不同。 因此,建議收藏本文,當(dāng)在實(shí)踐的過(guò)程中進(jìn)行對(duì)照,如果沒辦法準(zhǔn)確把握,則可直接執(zhí)行explain進(jìn)行驗(yàn)證。 重磅推薦磊哥的《Java面試提高課(2023版)》正式上線了,這次的課程誠(chéng)意滿滿,并加入了 Spring Cloud 相關(guān)面試內(nèi)容,共計(jì) 20 余萬(wàn)字,是我目前見過(guò)最好的 Java 面試課了。 一句話概括:最全的面試題沒我新,最新的面試題沒我全。且這次配套了 6 大增值服務(wù):簡(jiǎn)歷輔導(dǎo)、面試輔導(dǎo)、一對(duì)一答疑、專屬?gòu)?fù)習(xí)規(guī)劃、項(xiàng)目評(píng)審、職業(yè)規(guī)劃,價(jià)格非常低,一次性購(gòu)買,永久閱讀,點(diǎn)我加入。 |
|