免费在线a视频-免费在线观看a视频-免费在线观看大片影视大全-免费在线观看的视频-色播丁香-色播基地

Redis 性能優(yōu)化的 13 條軍規(guī)!全網(wǎng)首發(fā)

:2020年04月07日 腳本之家
分享到:

Redis 是基于單線程模型實現(xiàn)的,也就是 Redis 是使用一個線程來處理所有的客戶端請求的,盡管 Redis 使用了非阻塞式 IO,并且對各種命令都做了優(yōu)化(大部分命令操作時間復(fù)雜度都是 O(1)),但由于 Redis...

作者 l 老王

本文經(jīng)授權(quán)轉(zhuǎn)載自 l 中文社群(ID:javacn666)

Redis 是基于單線程模型實現(xiàn)的,也就是 Redis 是使用一個線程來處理所有的客戶端請求的,盡管 Redis 使用了非阻塞式 IO,并且對各種命令都做了優(yōu)化(大部分命令操作時間復(fù)雜度都是 O(1)),但由于 Redis 是單線程執(zhí)行的特點,因此它對性能的要求更加苛刻,本文我們將通過一些優(yōu)化手段,讓 Redis 更加高效的運行。

本文我們將使用以下手段,來提升 Redis 的運行速度:

  1. 縮短鍵值對的存儲長度;

  2. 使用 lazy free(延遲刪除)特性;

  3. 設(shè)置鍵值的過期時間;

  4. 禁用長耗時的查詢命令;

  5. 使用 slowlog 優(yōu)化耗時命令;

  6. 使用 Pipeline 批量操作數(shù)據(jù);

  7. 避免大量數(shù)據(jù)同時失效;

  8. 客戶端使用優(yōu)化;

  9. 限制 Redis 內(nèi)存大小;

  10. 使用物理機(jī)而非虛擬機(jī)安裝 Redis 服務(wù);

  11. 檢查數(shù)據(jù)持久化策略;

  12. 禁用 THP 特性;

  13. 使用分布式架構(gòu)來增加讀寫速度。

1.縮短鍵值對的存儲長度

鍵值對的長度是和性能成反比的,比如我們來做一組寫入數(shù)據(jù)的性能測試,執(zhí)行結(jié)果如下:

從以上數(shù)據(jù)可以看出,在 key 不變的情況下,value 值越大操作效率越慢,因為 Redis 對于同一種數(shù)據(jù)類型會使用不同的內(nèi)部編碼進(jìn)行存儲,比如字符串的內(nèi)部編碼就有三種:int(整數(shù)編碼)、raw(優(yōu)化內(nèi)存分配的字符串編碼)、embstr(動態(tài)字符串編碼),這是因為 Redis 的作者是想通過不同編碼實現(xiàn)效率和空間的平衡,然而數(shù)據(jù)量越大使用的內(nèi)部編碼就越復(fù)雜,而越是復(fù)雜的內(nèi)部編碼存儲的性能就越低。

這還只是寫入時的速度,當(dāng)鍵值對內(nèi)容較大時,還會帶來另外幾個問題:

  • 內(nèi)容越大需要的持久化時間就越長,需要掛起的時間越長,Redis 的性能就會越低;

  • 內(nèi)容越大在網(wǎng)絡(luò)上傳輸?shù)膬?nèi)容就越多,需要的時間就越長,整體的運行速度就越低;

  • 內(nèi)容越大占用的內(nèi)存就越多,就會更頻繁的觸發(fā)內(nèi)存淘汰機(jī)制,從而給 Redis 帶來了更多的運行負(fù)擔(dān)。

因此在保證完整語義的同時,我們要盡量的縮短鍵值對的存儲長度,必要時要對數(shù)據(jù)進(jìn)行序列化和壓縮再存儲,以 Java 為例,序列化我們可以使用 protostuff 或 kryo,壓縮我們可以使用 snappy。

2.使用 lazy free 特性

lazy free 特性是 Redis 4.0 新增的一個非常使用的功能,它可以理解為惰性刪除或延遲刪除。意思是在刪除的時候提供異步延時釋放鍵值的功能,把鍵值釋放操作放在 BIO(Background I/O) 單獨的子線程處理中,以減少刪除刪除對 Redis 主線程的阻塞,可以有效地避免刪除 big key 時帶來的性能和可用性問題。

lazy free 對應(yīng)了 4 種場景,默認(rèn)都是關(guān)閉的:

lazyfree-lazy-eviction no

lazyfree-lazy-expire no

lazyfree-lazy-server-del no

slave-lazy-flush no

它們代表的含義如下:

  • lazyfree-lazy-eviction:表示當(dāng) Redis 運行內(nèi)存超過 maxmeory 時,是否開啟 lazy free 機(jī)制刪除;

  • lazyfree-lazy-expire:表示設(shè)置了過期時間的鍵值,當(dāng)過期之后是否開啟 lazy free 機(jī)制刪除;

  • lazyfree-lazy-server-del:有些指令在處理已存在的鍵時,會帶有一個隱式的 del 鍵的操作,比如 rename 命令,當(dāng)目標(biāo)鍵已存在,Redis 會先刪除目標(biāo)鍵,如果這些目標(biāo)鍵是一個 big key,就會造成阻塞刪除的問題,此配置表示在這種場景中是否開啟 lazy free 機(jī)制刪除;

  • slave-lazy-flush:針對 slave(從節(jié)點) 進(jìn)行全量數(shù)據(jù)同步,slave 在加載 master 的 RDB 文件前,會運行 flushall 來清理自己的數(shù)據(jù),它表示此時是否開啟 lazy free 機(jī)制刪除。

建議開啟其中的 lazyfree-lazy-eviction、lazyfree-lazy-expire、lazyfree-lazy-server-del 等配置,這樣就可以有效的提高主線程的執(zhí)行效率。

3.設(shè)置鍵值的過期時間

我們應(yīng)該根據(jù)實際的業(yè)務(wù)情況,對鍵值設(shè)置合理的過期時間,這樣 Redis 會幫你自動清除過期的鍵值對,以節(jié)約對內(nèi)存的占用,以避免鍵值過多的堆積,頻繁的觸發(fā)內(nèi)存淘汰策略。

4.禁用長耗時的查詢命令

Redis 絕大多數(shù)讀寫命令的時間復(fù)雜度都在 O(1) 到 O(N) 之間,在官方文檔對每命令都有時間復(fù)雜度說明,地址:https://redis.io/commands,如下圖所示:其中 O(1) 表示可以安全使用的,而 O(N) 就應(yīng)該當(dāng)心了,N 表示不確定,數(shù)據(jù)越大查詢的速度可能會越慢。因為 Redis 只用一個線程來做數(shù)據(jù)查詢,如果這些指令耗時很長,就會阻塞 Redis,造成大量延時。

要避免 O(N) 命令對 Redis 造成的影響,可以從以下幾個方面入手改造:

  • 決定禁止使用 keys 命令;

  • 避免一次查詢所有的成員,要使用 scan 命令進(jìn)行分批的,游標(biāo)式的遍歷;

  • 通過機(jī)制嚴(yán)格控制 Hash、Set、Sorted Set 等結(jié)構(gòu)的數(shù)據(jù)大小;

  • 將排序、并集、交集等操作放在客戶端執(zhí)行,以減少 Redis 服務(wù)器運行壓力;

  • 刪除 (del) 一個大數(shù)據(jù)的時候,可能會需要很長時間,所以建議用異步刪除的方式 unlink,它會啟動一個新的線程來刪除目標(biāo)數(shù)據(jù),而不阻塞 Redis 的主線程。

5.使用 slowlog 優(yōu)化耗時命令

我們可以使用 slowlog 功能找出最耗時的 Redis 命令進(jìn)行相關(guān)的優(yōu)化,以提升 Redis 的運行速度,慢查詢有兩個重要的配置項:

  • slowlog-log-slower-than :用于設(shè)置慢查詢的評定時間,也就是說超過此配置項的命令,將會被當(dāng)成慢操作記錄在慢查詢?nèi)罩局校鼒?zhí)行單位是微秒 (1 秒等于 1000000 微秒);

  • slowlog-max-len :用來配置慢查詢?nèi)罩镜淖畲笥涗洈?shù)。

我們可以根據(jù)實際的業(yè)務(wù)情況進(jìn)行相應(yīng)的配置,其中慢日志是按照插入的順序倒序存入慢查詢?nèi)罩局校覀兛梢允褂?nbsp;slowlog get n 來獲取相關(guān)的慢查詢?nèi)罩荆僬业竭@些慢查詢對應(yīng)的業(yè)務(wù)進(jìn)行相關(guān)的優(yōu)化。

6.使用 Pipeline 批量操作數(shù)據(jù)

Pipeline (管道技術(shù)) 是客戶端提供的一種批處理技術(shù),用于一次處理多個 Redis 命令,從而提高整個交互的性能。

我們使用 Java 代碼來測試一下 Pipeline 和普通操作的性能對比,Pipeline 的測試代碼如下:

public class PipelineExample {

public static void main(String[] args) {

Jedis jedis = new Jedis("127.0.0.1", 6379);

// 記錄執(zhí)行開始時間

long beginTime = System.currentTimeMillis();

// 獲取 Pipeline 對象

Pipeline pipe = jedis.pipelined();

// 設(shè)置多個 Redis 命令

for (int i = 0; i < 100; i++) {

pipe.set("key" + i, "val" + i);

pipe.del("key"+i);

}

// 執(zhí)行命令

pipe.sync();

// 記錄執(zhí)行結(jié)束時間

long endTime = System.currentTimeMillis();

System.out.println("執(zhí)行耗時:" + (endTime - beginTime) + "毫秒");

}

}

以上程序執(zhí)行結(jié)果為:

執(zhí)行耗時:297毫秒

普通的操作代碼如下:

public class PipelineExample {

public static void main(String[] args) {

Jedis jedis = new Jedis("127.0.0.1", 6379);

// 記錄執(zhí)行開始時間

long beginTime = System.currentTimeMillis();

for (int i = 0; i < 100; i++) {

jedis.set("key" + i, "val" + i);

jedis.del("key"+i);

}

// 記錄執(zhí)行結(jié)束時間

long endTime = System.currentTimeMillis();

System.out.println("執(zhí)行耗時:" + (endTime - beginTime) + "毫秒");

}

}

以上程序執(zhí)行結(jié)果為:

執(zhí)行耗時:17276毫秒

從以上的結(jié)果可以看出,管道的執(zhí)行時間是 297 毫秒,而普通命令執(zhí)行時間是 17276 毫秒,管道技術(shù)要比普通的執(zhí)行大約快了 58 倍。

7.避免大量數(shù)據(jù)同時失效

Redis 過期鍵值刪除使用的是貪心策略,它每秒會進(jìn)行 10 次過期掃描,此配置可在 redis.conf 進(jìn)行配置,默認(rèn)值是 hz 10,Redis 會隨機(jī)抽取 20 個值,刪除這 20 個鍵中過期的鍵,如果過期 key 的比例超過 25% ,重復(fù)執(zhí)行此流程,如下圖所示:

如果在大型系統(tǒng)中有大量緩存在同一時間同時過期,那么會導(dǎo)致 Redis 循環(huán)多次持續(xù)掃描刪除過期字典,直到過期字典中過期鍵值被刪除的比較稀疏為止,而在整個執(zhí)行過程會導(dǎo)致 Redis 的讀寫出現(xiàn)明顯的卡頓,卡頓的另一種原因是內(nèi)存管理器需要頻繁回收內(nèi)存頁,因此也會消耗一定的 CPU。

為了避免這種卡頓現(xiàn)象的產(chǎn)生,我們需要預(yù)防大量的緩存在同一時刻一起過期,就簡單的解決方案就是在過期時間的基礎(chǔ)上添加一個指定范圍的隨機(jī)數(shù)。

8.客戶端使用優(yōu)化

在客戶端的使用上我們除了要盡量使用 Pipeline 的技術(shù)外,還需要注意要盡量使用 Redis 連接池,而不是頻繁創(chuàng)建銷毀 Redis 連接,這樣就可以減少網(wǎng)絡(luò)傳輸次數(shù)和減少了非必要調(diào)用指令。

9.限制 Redis 內(nèi)存大小

在 64 位操作系統(tǒng)中 Redis 的內(nèi)存大小是沒有限制的,也就是配置項 maxmemory <bytes> 是被注釋掉的,這樣就會導(dǎo)致在物理內(nèi)存不足時,使用 swap 空間既交換空間,而當(dāng)操心系統(tǒng)將 Redis 所用的內(nèi)存分頁移至 swap 空間時,將會阻塞 Redis 進(jìn)程,導(dǎo)致 Redis 出現(xiàn)延遲,從而影響 Redis 的整體性能。因此我們需要限制 Redis 的內(nèi)存大小為一個固定的值,當(dāng) Redis 的運行到達(dá)此值時會觸發(fā)內(nèi)存淘汰策略,內(nèi)存淘汰策略在 Redis 4.0 之后有 8 種

  1. noeviction:不淘汰任何數(shù)據(jù),當(dāng)內(nèi)存不足時,新增操作會報錯,Redis 默認(rèn)內(nèi)存淘汰策略;

  2. allkeys-lru:淘汰整個鍵值中最久未使用的鍵值;

  3. allkeys-random:隨機(jī)淘汰任意鍵值;

  4. volatile-lru:淘汰所有設(shè)置了過期時間的鍵值中最久未使用的鍵值;

  5. volatile-random:隨機(jī)淘汰設(shè)置了過期時間的任意鍵值;

  6. volatile-ttl:優(yōu)先淘汰更早過期的鍵值。

在 Redis 4.0 版本中又新增了 2 種淘汰策略:

  1. volatile-lfu:淘汰所有設(shè)置了過期時間的鍵值中,最少使用的鍵值;

  2. allkeys-lfu:淘汰整個鍵值中最少使用的鍵值。

其中 allkeys-xxx 表示從所有的鍵值中淘汰數(shù)據(jù),而 volatile-xxx 表示從設(shè)置了過期鍵的鍵值中淘汰數(shù)據(jù)。

我們可以根據(jù)實際的業(yè)務(wù)情況進(jìn)行設(shè)置,默認(rèn)的淘汰策略不淘汰任何數(shù)據(jù),在新增時會報錯。

10.使用物理機(jī)而非虛擬機(jī)

在虛擬機(jī)中運行 Redis 服務(wù)器,因為和物理機(jī)共享一個物理網(wǎng)口,并且一臺物理機(jī)可能有多個虛擬機(jī)在運行,因此在內(nèi)存占用上和網(wǎng)絡(luò)延遲方面都會有很糟糕的表現(xiàn),我們可以通過 ./redis-cli --intrinsic-latency 100 命令查看延遲時間,如果對 Redis 的性能有較高要求的話,應(yīng)盡可能在物理機(jī)上直接部署 Redis 服務(wù)器。

11.檢查數(shù)據(jù)持久化策略

Redis 的持久化策略是將內(nèi)存數(shù)據(jù)復(fù)制到硬盤上,這樣才可以進(jìn)行容災(zāi)恢復(fù)或者數(shù)據(jù)遷移,但維護(hù)此持久化的功能,需要很大的性能開銷。

在 Redis 4.0 之后,Redis 有 3 種持久化的方式:

  • RDB(Redis DataBase,快照方式)將某一個時刻的內(nèi)存數(shù)據(jù),以二進(jìn)制的方式寫入磁盤;

  • AOF(Append Only File,文件追加方式),記錄所有的操作命令,并以文本的形式追加到文件中;

  • 混合持久化方式,Redis 4.0 之后新增的方式,混合持久化是結(jié)合了 RDB 和 AOF 的優(yōu)點,在寫入的時候,先把當(dāng)前的數(shù)據(jù)以 RDB 的形式寫入文件的開頭,再將后續(xù)的操作命令以 AOF 的格式存入文件,這樣既能保證 Redis 重啟時的速度,又能減低數(shù)據(jù)丟失的風(fēng)險。

RDB 和 AOF 持久化各有利弊,RDB 可能會導(dǎo)致一定時間內(nèi)的數(shù)據(jù)丟失,而 AOF 由于文件較大則會影響 Redis 的啟動速度,為了能同時擁有 RDB 和 AOF 的優(yōu)點,Redis 4.0 之后新增了混合持久化的方式,因此我們在必須要進(jìn)行持久化操作時,應(yīng)該選擇混合持久化的方式。

查詢是否開啟混合持久化可以使用 config get aof-use-rdb-preamble 命令,執(zhí)行結(jié)果如下圖所示:

其中 yes 表示已經(jīng)開啟混合持久化,no 表示關(guān)閉,Redis 5.0 默認(rèn)值為 yes。如果是其他版本的 Redis 首先需要檢查一下,是否已經(jīng)開啟了混合持久化,如果關(guān)閉的情況下,可以通過以下兩種方式開啟:

  • 通過命令行開啟

  • 通過修改 Redis 配置文件開啟

① 通過命令行開啟

使用命令 config set aof-use-rdb-preamble yes 執(zhí)行結(jié)果如下圖所示:

命令行設(shè)置配置的缺點是重啟 Redis 服務(wù)之后,設(shè)置的配置就會失效。

② 通過修改 Redis 配置文件開啟

在 Redis 的根路徑下找到 redis.conf 文件,把配置文件中的 aof-use-rdb-preamble no 改為 aof-use-rdb-preamble yes 如下圖所示:

配置完成之后,需要重啟 Redis 服務(wù)器,配置才能生效,但修改配置文件的方式,在每次重啟 Redis 服務(wù)之后,配置信息不會丟失。

需要注意的是,在非必須進(jìn)行持久化的業(yè)務(wù)中,可以關(guān)閉持久化,這樣可以有效的提升 Redis 的運行速度,不會出現(xiàn)間歇性卡頓的困擾。

12.禁用 THP 特性

Linux kernel 在 2.6.38 內(nèi)核增加了 Transparent Huge Pages (THP) 特性 ,支持大內(nèi)存頁 2MB 分配,默認(rèn)開啟。

當(dāng)開啟了 THP 時,fork 的速度會變慢,fork 之后每個內(nèi)存頁從原來 4KB 變?yōu)?2MB,會大幅增加重寫期間父進(jìn)程內(nèi)存消耗。同時每次寫命令引起的復(fù)制內(nèi)存頁單位放大了 512 倍,會拖慢寫操作的執(zhí)行時間,導(dǎo)致大量寫操作慢查詢。例如簡單的 incr 命令也會出現(xiàn)在慢查詢中,因此 Redis 建議將此特性進(jìn)行禁用,禁用方法如下:

echo never > /sys/kernel/mm/transparent_hugepage/enabled

為了使機(jī)器重啟后 THP 配置依然生效,可以在 /etc/rc.local 中追加 echo never > /sys/kernel/mm/transparent_hugepage/enabled。

13.使用分布式架構(gòu)來增加讀寫速度

Redis 分布式架構(gòu)有三個重要的手段:

  • 主從同步

  • 哨兵模式

  • Redis Cluster 集群

使用主從同步功能我們可以把寫入放到主庫上執(zhí)行,把讀功能轉(zhuǎn)移到從服務(wù)上,因此就可以在單位時間內(nèi)處理更多的請求,從而提升的 Redis 整體的運行速度。

而哨兵模式是對于主從功能的升級,但當(dāng)主節(jié)點奔潰之后,無需人工干預(yù)就能自動恢復(fù) Redis 的正常使用。

Redis Cluster 是 Redis 3.0 正式推出的,Redis 集群是通過將數(shù)據(jù)庫分散存儲到多個節(jié)點上來平衡各個節(jié)點的負(fù)載壓力。

Redis Cluster 采用虛擬哈希槽分區(qū),所有的鍵根據(jù)哈希函數(shù)映射到 0 ~ 16383 整數(shù)槽內(nèi),計算公式:slot = CRC16(key) & 16383,每一個節(jié)點負(fù)責(zé)維護(hù)一部分槽以及槽所映射的鍵值數(shù)據(jù)。這樣 Redis 就可以把讀寫壓力從一臺服務(wù)器,分散給多臺服務(wù)器了,因此性能會有很大的提升。

在這三個功能中,我們只需要使用一個就行了,毫無疑問 Redis Cluster 應(yīng)該是首選的實現(xiàn)方案,它可以把讀寫壓力自動的分擔(dān)給更多的服務(wù)器,并且擁有自動容災(zāi)的能力。

[我要糾錯]
文:王振袢&發(fā)表于江蘇
關(guān)鍵詞: 作者 老王 本文 授權(quán) 轉(zhuǎn)載

來源:本文內(nèi)容搜集或轉(zhuǎn)自各大網(wǎng)絡(luò)平臺,并已注明來源、出處,如果轉(zhuǎn)載侵犯您的版權(quán)或非授權(quán)發(fā)布,請聯(lián)系小編,我們會及時審核處理。
聲明:江蘇教育黃頁對文中觀點保持中立,對所包含內(nèi)容的準(zhǔn)確性、可靠性或者完整性不提供任何明示或暗示的保證,不對文章觀點負(fù)責(zé),僅作分享之用,文章版權(quán)及插圖屬于原作者。

點個贊
0
踩一腳
0

您在閱讀:Redis 性能優(yōu)化的 13 條軍規(guī)!全網(wǎng)首發(fā)

Copyright?2013-2024 JSedu114 All Rights Reserved. 江蘇教育信息綜合發(fā)布查詢平臺保留所有權(quán)利

蘇公網(wǎng)安備32010402000125 蘇ICP備14051488號-3技術(shù)支持:南京博盛藍(lán)睿網(wǎng)絡(luò)科技有限公司

南京思必達(dá)教育科技有限公司版權(quán)所有   百度統(tǒng)計

主站蜘蛛池模板: 欧美大胆一级视频 | 天天干干 | 日韩精品欧美视频 | 欧美国产日韩911在线观看 | 在线观看午夜 | 免费黄色欧美 | 日本高清在线播放一区二区三区 | 亚洲精品二区中文字幕 | 欧美日韩在线视频播放 | 日韩制服丝袜在线 | 福利在线看| 福利120秒| 最近中文字幕版免费 | 99视频九九精品视频在线观看 | 黄色影视大全 | 日韩第一页在线 | 亚洲依依成人综合网站 | 91短视频在线观看免费最新91 | 国产精品合集一区二区 | 欧美激情视频免费 | 午夜影院私人 | 亚洲国产精 | 日批免费视频不要会员 | 毛片在线看免费版 | 偷偷狠狠的日日高清完整视频 | 97免费视频在线观看 | 成人国产在线观看 | 色视频网站在线 | 午夜a爱 | 一个人看的www在线播放 | 一级女性生活片 | 羞羞视频免费观看网站 | 新久草视频 | 一级黄色在线 | 欧美日本中文 | 美女的激情影院 | 亚洲综合精品一区二区三区中文 | 污污视频在线免费看 | 最近2019年中文字幕大全视频 | www.91宅男宅女| 欧美成人a级在线视频 |
最熱文章
最新文章
  • 阿里云上云鉅惠,云產(chǎn)品享最低成本,有需要聯(lián)系,
  • 卡爾蔡司鏡片優(yōu)惠店,鏡片價格低
  • 蘋果原裝手機(jī)殼