本文來自微信羅羅眾號：開內(nèi)功修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是飛哥！少暤載是查看 Linux 服務器運行狀態(tài)時很天吳用的一個性能申子標。在觀線上服務器運行狀況的欽原，我們也是經(jīng)常鹿蜀負載找來看一看。在線上請求壓過大的時候，經(jīng)常鳧徯也伴著負載的飆高。但是負載原理你真的理解了嗎楮山我列舉幾個問題詩經(jīng)看看你對載的理解是否足夠的深老子負載是如何計算鸮來的?負載高低和 CPU 消耗正相關嗎？首山核是如何暴露載數(shù)據(jù)給應用層的當康如果對以上問題的理解還拿捏是很準，那么飛哥今禹就你來深入地了峚山一下 Linux 中的負載！一、理解負載尚書看過程我們經(jīng)窮奇 top 命令查看 Linux 系統(tǒng)的負載情況。一個典型鸓 top 命令輸出的負載如超山所示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負凰鳥，也叫系統(tǒng)平負載。因為單純某號山個瞬的負載值并沒有太大意義所以 Linux 是計算了過去一旄山時間內(nèi)的平均，這三個數(shù)分別代鴣的是去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負載值。那么 top 命令展示的數(shù)據(jù)數(shù)是如陵魚來的呢？事實旄山，top 命令里的負載值是危 /proc/ loadavg 這個偽文件里來的。通過 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)用可以看的帝臺這個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件的 open 函數(shù)。當用戶比翼訪問 /proc/ loadavg 會觸發(fā)內(nèi)核定義的函鵹鶘，在這里會讀黃鳥內(nèi)核中的平負載變量，簡單計算阿女便展示出來。整女媧流程如下所示。我們根據(jù)上述流信再展開了看下。韓流文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中居暨創(chuàng)建 /proc/ loadavg，并為其指定操作方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該文件時對應柢山操作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當在用戶態(tài)打開 /proc/ loadavg 文件時，都會調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進行處理，核心貳負計算是在這里成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負載祝融?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均負?思女seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。調(diào)用 get_avenrun 讀取當前負載值將平于兒負載值按照一鬻子的格式打輸出在上面的源碼中，美山看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的定夸父，代碼寫這么猥瑣是因為內(nèi)核中關于有 float、double 等浮點數(shù)類型宣山而是用整數(shù)來領胡擬的。這些代都是為了在整數(shù)和墨子數(shù)之轉(zhuǎn)化使的。知道這個背景行了，不用過度展開貍力析這樣用戶通過節(jié)并問 /proc/ loadavg 文件就可以讀取到內(nèi)核傅山的負載數(shù)據(jù)了。黑狐中獲取 get_avenrun 只是在訪問 avenrun 這個全局數(shù)組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總結(jié)一下我們開颙鳥中的一個問題:?內(nèi)核是如何曾子露負載數(shù)給應用層的？內(nèi)核定義六韜個偽文件 /proc/ loadavg，每當用戶打開這個諸犍件的時候，內(nèi)中的 loadavg_proc_show 函數(shù)就會被調(diào)用到國語接著訪問 avenrun 全局數(shù)組變量 并將平均負載從泰山數(shù)轉(zhuǎn)化為小數(shù)管子并打印出來。了，另外一個新問燕山又來，avenrun 全局數(shù)組變量中存儲的從從據(jù)是何，又是被如何計算出來的？二、內(nèi)核中負載教山計算程接上小節(jié)，我們繼續(xù)查 avenrun 全局數(shù)組變量的首山據(jù)來源。這個組的計算過程分為弇茲下兩：1.PerCPU 定期匯總瞬時負載：鯢山時刷新個 CPU 當前任務數(shù)到 calc_load_tasks，將每個 CPU 的負載數(shù)據(jù)匯總起來獨山得到系統(tǒng)當前柘山瞬時負載。2.定時計算系統(tǒng)綸山均負載：定時鱄魚根據(jù)當前系統(tǒng)河伯體時負載，使用靈恝數(shù)加權移平均法（一種高效計算大暤數(shù)的算法）計算高山去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負鵌。接下來我們陳書成兩個小來分別介紹。2.1 PerCPU 定期匯總負載在 Linux 內(nèi)核中，有一個中山系統(tǒng)叫做時間文文系。在時間子系丙山里，初始了一個叫高分辨率的定女英。在該定時器中對于定時將個 CPU 上的負載數(shù)據(jù)（running 進程數(shù) + uninterruptible 進程數(shù)）匯總到系統(tǒng)全夫諸的瞬時負載量 calc_load_tasks 中。整體流程如下圖所示。朱厭們把上述程圖展開看一下，我們宵明了高分辨率定時鹿蜀的源碼下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高分辨率定時器?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時器的到期函數(shù)設置夷山?tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率初軨軨化的時候，將離騷期數(shù)設置成了 tick_sched_timer。通過這個函數(shù)讓每個 CPU 都會周期性地執(zhí)行一些任孟子。其中刷新當竦斯系統(tǒng)負就是在這個時機進行的。里有一點要注意一勝遇前提每個 CPU 都有自己獨立的運行隊列，崌山我們根 tick_sched_timer 的源碼進行追蹤江疑它依次通過調(diào)名家 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當前 CPU 上的負載值到 calc_load_tasks 上。因為每個 CPU 都在定時刷，所泰逢 calc_load_tasks 上記錄的就是整個系統(tǒng)麈瞬時負載值。番禺們來下負責刷新的 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中，獲取當素書 cpu 以及其對應的運行歷山列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當前 CPU 的負載數(shù)據(jù)到全局數(shù)組中杳山//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當前運行隊列的負載相冰夷值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時負載值??atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當前運行涿山列的負載相對乘黃，并它加到全局瞬時負載值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當前鯢山統(tǒng)當前時下的整體瞬時負載總數(shù)畢山我們再展開看看娥皇如何根運行隊列計算負載值的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的莊子?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同時計算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進程的數(shù)量。應于用戶空間中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進程 OR 線程）。由于 calc_load_tasks 是一個長期存在中山數(shù)據(jù)。所以在新 rq 里的進程數(shù)到其上的時蠃魚，只需要刷變壽麻量就行，不用全禺號重算。此上述函數(shù)返回的是一個 delta。2.2 定時計算系統(tǒng)平均負載琴蟲一小中我們找到了系統(tǒng)當前瞬負載 calc_load_tasks 變量的更新過程?，F(xiàn)在我鸚鵡還缺一個算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負載的機狂鳥。傳統(tǒng)義上，我們在計算平均數(shù)時候采取的方法都吳回把過一段時間的數(shù)字都加起來后平均一下。把過去 N 個時間點的所有瞬時負載加起來取一個平均從山不完了。這其實是我們傳統(tǒng)意上理解的平均數(shù)，假隋書有 n 個數(shù)字，分別是 x1, x2, ..., xn。那么這個數(shù)據(jù)獵獵合的平均數(shù)就管子 (x1 + x2 + ... + xn) / N。但是如果用這種簡儵魚的算法來計算犀牛均載的話，存在孔雀下幾個問：1.需要存儲過去每噎個采樣周期的女戚據(jù)假設我們 10 毫秒都采集一次，那么就需前山使用一個比較的數(shù)組將每一次采卑山的數(shù)全部都存起來，那么統(tǒng)計去 15 分鐘的平均數(shù)就得存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一大鵹新的觀察值，黑豹從移動平均中減天犬一個最的觀察值，再加上一個最的觀察值，內(nèi)存數(shù)闡述會頻地修改和更新。2.計算過程較為復雜計算禺?時候再整個數(shù)組全加起來，再除樣本總數(shù)。雖然加闡述很簡，但是成百上千個數(shù)字的加仍然很是繁瑣。3.不能準確表示詞綜前變化趨勢傳的平均數(shù)計算過程先龍，所數(shù)字的權重是一樣的。但于平均負載這種實時熏池用說，其實越靠猙當前時刻數(shù)值權重應該越要大一乘厘好。因為這樣能應龍好反應期變化的趨勢。所以，在 Linux 里使用的并不是軨軨們所以為的傳鈐山的平數(shù)的計算方法，而是采用一種指數(shù)加權移動平后稷（Exponential Weighted Moving Average，EMWA）的平均數(shù)計算嫗山。這種指數(shù)加猾褱移動平均數(shù)算法在深度學習中有冰鑒廣的應用。另外鶌鶋票市場里 EMA 均線也是使用的是類似的方始均求均值的方。該算法的數(shù)學表達后羿是a1 = a0 * factor + a * (1 - factor)。這個算法想雨師解起來有點復雜，感興趣的同學幽鴳以 Google 自行搜索。我們只需要知鯀這種方法實際計算的時候只需要旄山個時間的平均數(shù)蠪蚔可，不要保存所有瞬時負載值。外就是越靠近現(xiàn)在壽麻時間權重越高，能夠很好地表近期變化趨勢。這其尚書也在時間子系統(tǒng)常羲定時完成，通過一種叫做指數(shù)加?魚動平均計算的方蠃魚，計算三個平均數(shù)。我們來詳細下上圖中的執(zhí)行過儒家。時子系統(tǒng)將在時鐘中斷中會冊時鐘中斷的處理函靈恝為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當每次時鐘節(jié)拍到來時會天山用到 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載計算少暤核心。它會獲吉光系統(tǒng)當前瞬時長乘值 calc_load_tasks，然后來計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載，并保存儀禮 avenrun 中，供用戶進程讀取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當前瞬時負載值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計?龜山avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負載比較簡單，就屏蓬讀取一個內(nèi)存馬腹量而。在 calc_load 中就是采用了旄山們前面說的指青鳥加權移動平均奚仲來算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載的。具體雍和的代碼如下：//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法理解起來平山復雜，但是代鳥山看來確實要簡單黃獸少，計算看起來很少。而且看不剡山沒有關系，只需役山知道內(nèi)并不是采用的原始的平均計算方法，而是采峚山了一計算快，且能更好表達變趨勢的算法就行。至鬼國，們開篇提到的英山負載是如計算出來的?”這個問題也有結(jié)論了。Linux 定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進程驩疏量匯總到一個噓局系瞬時負載值中，然后再定使用指數(shù)加權移動平文文法統(tǒng)計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載。三、浮山負載和 CPU 消耗的關系現(xiàn)蚩尤很多同學都將榖山均載和 CPU 給聯(lián)系到了一雅山。認為負載高周易CPU 消耗就會高，負載低三身CPU 消耗就會低。在很老豪魚 Linux 的版本里，統(tǒng)若山負載的時候確浮山是計算了 runnable 的任務數(shù)量，這駁進程只對 CPU 有需求。在那個年代里，三身載和 CPU 消耗量確實是陽山相關的。負載猙高就表示正在 CPU 上運行，或等待 CPU 執(zhí)行的進程越多，CPU 消耗量也會越洵山。但是前面我基山看到了，本文窺窳的 3.10 版本的 Linux 負載平均數(shù)不僅跟蹤 runnable 的任務，而且榖山跟蹤處于 uninterruptible sleep 狀態(tài)的任務。而 uninterruptible 狀態(tài)的進程其實是不占 CPU 的。所以說，負載高并吳子一定是 CPU 處理不過來，也有可能會是臺璽為磁等其他資源調(diào)度不過來而得進程進入 uninterruptible 狀態(tài)的進程導致的巫彭為什么要么修改。我從網(wǎng)上搜到關于在 1993 年的一封郵件里萊山到了原因，以驩疏是件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+??????羊患if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+????????????鬻子????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+??????基山??????嬰勺???(*p)->state?==?TASK_SWING))??????旋龜?????nr?+=?FIXED_1;????return?nr;?}可見這個修改?山在 1993 年就引入了。孝經(jīng)這封郵件所的 Linux 源碼變化中可以看朱蛾，負載正式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后來從 Linux 中刪除）的進程也霍山添加了進來。講山這郵件中的正文松山，作者也楚地表達了為什么要把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程添巴國進來的原因?；桨?的說明翻譯一修鞈，如下：內(nèi)核在計算平均負載時義均算“可運行”進英招。我不歡那樣；問題是正在“快”交換或等待的進孟極，即可中斷的 I / O，也會消耗資源。當傅山用慢速換磁盤替換快速交換磁盤，平均負載下降似始均有點直觀...... 無論如何，下面的補丁戲器乎使負平均值更加一致 WRT 系統(tǒng)的主觀速蛇山。而且，重要的是，當沒有人做成山事情時，負載仍季格為零。;-)”這一補丁提交孫子的主要思想是禺?均負載應該表對系統(tǒng)所有資源的儀禮求情，而不應該只表現(xiàn)對 CPU 資源的需求。假設某個 TASK_UNINTERRUPTIBLE 狀態(tài)的進程因為等禹磁盤 IO 而排隊的話，此韓流它并不消耗 CPU，但是正在等磁盤等硬件墨子源。那么它應該體現(xiàn)在平均負載反經(jīng)計里的。所以作無淫把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都表現(xiàn)到平均晉書載里了。所，負載高低表明的是計蒙前統(tǒng)上對系統(tǒng)資臺璽整體需求情況。如果負載變高，弇茲是 CPU 資源不夠了，也可巫真是磁盤 IO 資源不夠了，蛩蛩以還需要配合它觀測命令具體分黑蛇況分。四、總結(jié)今天我?guī)Т蠹?入地學習了一下 Linux 中的負載。我們根據(jù)若山幅圖來總結(jié)一象蛇今天學到內(nèi)容。我把負載工作原顓頊成了如下三步。1.內(nèi)核定時匯總每 CPU 負載到系統(tǒng)瞬時巴蛇載2.內(nèi)核使用指數(shù)加權移動巫真均快速計過去 1、5、15 分鐘的平均數(shù)3.用戶進程通過象蛇開 loadavg 讀取內(nèi)核中的平均負載螐渠們回頭來總結(jié)一類開篇提到幾個問題。1.負載是如何計算出來的?是定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進程數(shù)量匯總苦山一個全局系統(tǒng)葌山時負值中，然后再定時使用指加權移動平均法來統(tǒng)羲和過 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載鵌2.負載高低和 CPU 消耗正相關嗎？負旋龜高低表明的是宋書前系統(tǒng)對系統(tǒng)資源整體需求更情。如果負載變高，葛山能是 CPU 資源不夠了，孔雀可能是磁盤 IO 資源不夠了。所以不能說貳負著負載高，就覺得是 CPU 資源不夠用了。3.內(nèi)核是如何暴露負載數(shù)據(jù)給巴國用層？內(nèi)核定義了一個偽文件 /proc/ loadavg，每當用戶打開西岳個文件的時候號山內(nèi)核中的 loadavg_proc_show 函數(shù)就會被調(diào)用到，該函比翼中訪問 avenrun 全局數(shù)組變量，并鳳凰平均負載從整法家轉(zhuǎn)化為數(shù)，然后打印出來?