作者 | Java發(fā)財責(zé)編 | 王曉曼出品 | CSDN博客送分題面試官:有操作過Linux嗎?我:有的呀。面試官:我想查看內(nèi)存的使用情況該用什么命令?我:Free 或者 Top。面試官:那你說一下用free命令都可以看到啥...
作者 | Java發(fā)財
責(zé)編 | 王曉曼
出品 | CSDN博客
送分題
面試官:有操作過Linux嗎?
我:有的呀。
面試官:我想查看內(nèi)存的使用情況該用什么命令?
我:Free 或者 Top。
面試官:那你說一下用free命令都可以看到啥信息
我:如下圖所示 可以看到內(nèi)存以及緩存的使用情況:
total總內(nèi)存
used已用內(nèi)存
free空閑內(nèi)存
buff/cache已使用的緩存
avaiable可用內(nèi)存
面試官:那你知道怎么清理已使用的緩存嗎(buff/cache)?
我:em… 不知道。
面試官:sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了,你說說我在線上執(zhí)行這條命令做好不好?
我:(送分題,內(nèi)心大喜)好處大大的有,清理出緩存我們就有更多可用的內(nèi)存空間, 就跟pc上面xx衛(wèi)士的小火箭一樣,點一下,就釋放出好多的內(nèi)存。
面試官:em…., 回去等通知吧。
SQL Join
面試官:換個話題,談?wù)勀銓oin的理解。
我:好的(再答錯就徹底完了,把握住機會)
回顧:
SQL 中的 Join 可以根據(jù)某些條件把指定的表給結(jié)合起來并將數(shù)據(jù)返回給客戶端。
Join的方式有:
1、innerjoin 內(nèi)連接
2、leftjoin 左連接
3、rightjoin 右連接
4、fulljoin 全連接
面試官:在項目開發(fā)中如果需要使用 Join 語句,如何優(yōu)化提升性能?
我:分為兩種情況,數(shù)據(jù)規(guī)模小的,數(shù)據(jù)規(guī)模大的。
面試官: 然后?
我:對于:
1.數(shù)據(jù)規(guī)模較小,全部放進內(nèi)存就完事了。
2.數(shù)據(jù)規(guī)模較大:
可以通過增加索引來優(yōu)化 Join 語句的執(zhí)行速度。
可以通過冗余信息來減少 Join 的次數(shù)。
盡量減少表連接的次數(shù),一個 SQL 語句表連接的次數(shù)不要超過5次。
面試官:可以總結(jié)為 Join 語句是相對比較耗費性能,對嗎?
我:是的。
面試官: 為什么?
緩沖區(qū)
我: 在執(zhí)行 Join 語句的時候必然要有一個比較的過程。
面試官: 是的。
我:逐條比較兩個表的語句是比較慢的,因此我們可以把兩個表中數(shù)據(jù)依次讀進一個內(nèi)存塊中, 以 MySQL的InnoDB 引擎為例,使用以下語句我們必然可以查到相關(guān)的內(nèi)存區(qū)域 show variables like ‘%buffer%’
如圖所示 Join_buffer_size的大小將會影響我們 Join 語句的執(zhí)行性能。
面試官: 除此之外呢?
一個大前提
我:任何項目終究要上線,不可避免的要產(chǎn)生數(shù)據(jù),數(shù)據(jù)的規(guī)模又不可能太小。
面試官: 是這樣的。
我:大部分數(shù)據(jù)庫中的數(shù)據(jù)最終要保存到硬盤上,并且以文件的形式進行存儲。
以 MySQL的 InnoDB 引擎為例
InnoDB 以頁(page)為基本的IO單位,每個頁的大小為16KB, InnoDB 會為每個表創(chuàng)建用于存儲數(shù)據(jù)的 .ibd 文件。
驗證:
我:這意味著我們有多少表要連接就需要讀多少個文件,雖然可以利用索引,但還是免不了頻繁的移動硬盤的磁頭。
面試官:也就是說頻繁的移動磁頭會影響性能對吧?
我:是的,現(xiàn)在的開源框架不都喜歡說自己通過順序讀寫大大的提升了性能嗎,比如 hbase、kafka。
面試官:說的沒錯,那你認為 Linux 有對此做出優(yōu)化嗎?提示,你可以再執(zhí)行一次 Free 命令看一下。
我:奇怪緩存怎么占用了1.2G多?
面試官:你有沒有想過?buff/cache 里面存的是什么?為什么 buff/cache 占了那么多內(nèi)存,可用內(nèi)存即 availlable 還有1.1G?為什么你可以通過兩條命令來清理 buff/cache 占用的內(nèi)存,而想要釋放used只能通過結(jié)束進程來實現(xiàn)?
品,你細品。
思考了幾分鐘后。
我:這么隨便就釋放了 buff/cache 所占用的內(nèi)存,說明它就不重要, 清除它不會對系統(tǒng)的運行造成影響
面試官: 不完全對。
我:難道是?想起來《CSAPP》(深入理解計算機系統(tǒng))里面說過一句話:存儲器層次結(jié)構(gòu)的本質(zhì)是,每一層存儲設(shè)備都是較低一層設(shè)備的緩存。
通俗來說,就是說 Linux 會把內(nèi)存當作是硬盤的高速緩存。
面試官:現(xiàn)在知道那道送分題應(yīng)該怎么回答了吧。
我:我….
Join算法
面試官:再給你個機會,如果讓你來實現(xiàn) Join 算法你會怎么做?
我:無索引的話,嵌套循環(huán)就完事了嗷。有索引的話,則可以利用索引來提升性能。
面試官:說回 Join_buffer 你認為 Join_buffer 里面存儲的是什么?
我:在掃描過程中,數(shù)據(jù)庫會選擇一個表把他要返回以及需要進行和其他表進行比較的數(shù)據(jù)放進 Join_buffer。
面試官:有索引的情況下是怎么處理的?
我:這個就比較簡單了,直接讀取兩個表的索引樹進行比較就完事了,我這邊介紹一下無索引的處理方式:
1、NestedLoop Join
嵌套循環(huán),每次只讀取表中的一行數(shù)據(jù),也就是說如果 outerTable有10萬行數(shù)據(jù), innerTable 有100行數(shù)據(jù),需要讀取10000000次(假設(shè)這兩個表的文件沒有被操作系統(tǒng)給緩存到內(nèi)存, 我們稱之為冷數(shù)據(jù)表)。
當然現(xiàn)在沒啥數(shù)據(jù)庫引擎使用這種算法(太慢了)。
2、Blocknested loop
Block塊,也就是說每次都會取一塊數(shù)據(jù)到內(nèi)存以減少I/O的開銷。
當沒有索引可以使用的時候,MySQL InnoDB 就會使用這種算法。
考慮以下兩個表 t_a 和t_b:
當無法使用索引執(zhí)行 Join 操作的時候,InnoDB 會自動使用Block nested loop 算法。
上學(xué)時,數(shù)據(jù)庫老師最喜歡考數(shù)據(jù)庫范式,直到上班才學(xué)會一切以性能為準,能冗余就冗余,實在冗余不了的就 Join 如果 Join 真的影響到性能。試著調(diào)大你的 Join_buffer_size , 或者換固態(tài)硬盤。
版權(quán)聲明:本文為CSDN博主「Java發(fā)財」的原創(chuàng)文章,遵循CC 4.0 BY-SA版權(quán)協(xié)議,轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/weixin_47067712/article/details/105972620
來源:本文內(nèi)容搜集或轉(zhuǎn)自各大網(wǎng)絡(luò)平臺,并已注明來源、出處,如果轉(zhuǎn)載侵犯您的版權(quán)或非授權(quán)發(fā)布,請聯(lián)系小編,我們會及時審核處理。
聲明:江蘇教育黃頁對文中觀點保持中立,對所包含內(nèi)容的準確性、可靠性或者完整性不提供任何明示或暗示的保證,不對文章觀點負責(zé),僅作分享之用,文章版權(quán)及插圖屬于原作者。
Copyright?2013-2024 JSedu114 All Rights Reserved. 江蘇教育信息綜合發(fā)布查詢平臺保留所有權(quán)利
蘇公網(wǎng)安備32010402000125
蘇ICP備14051488號-3技術(shù)支持:南京博盛藍睿網(wǎng)絡(luò)科技有限公司
南京思必達教育科技有限公司版權(quán)所有 百度統(tǒng)計