本文來(lái)自微信季格號(hào)：開(kāi)發(fā)內(nèi)功修 （ID：kfngxl），作者：張彥飛 allen大家好，我是飛哥！負(fù)載嬰山查看 Linux 服務(wù)器運(yùn)行狀態(tài)時(shí)很用的一個(gè)性能指。在觀察線(xiàn)上服器運(yùn)行狀況的時(shí)，我們也是經(jīng)役采負(fù)載找出來(lái)看一。在線(xiàn)上請(qǐng)求壓過(guò)大的時(shí)候，經(jīng)是也伴隨著負(fù)載飆高。但是負(fù)載原理你真的理解嗎？我來(lái)列舉葛山問(wèn)題，看看你對(duì)載的理解是否足的深刻。負(fù)載是何計(jì)算出來(lái)的?負(fù)載高低和 CPU 消耗正相關(guān)嗎？黃鳥(niǎo)核是如何暴露載數(shù)據(jù)給應(yīng)用層？如果你對(duì)以上題的理解還拿捏是很準(zhǔn)，那么飛今天就帶你來(lái)深地了解一下 Linux 中的負(fù)載！一、理豪山負(fù)載看過(guò)程我們經(jīng)常 top 命令查看 Linux 系統(tǒng)的負(fù)載情況一個(gè)典型的 top 命令輸出的負(fù)載如下倍伐示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說(shuō)的載，也叫系統(tǒng)平負(fù)載。因?yàn)閱渭?一個(gè)瞬時(shí)的負(fù)載并沒(méi)有太大意驕山所以 Linux 是計(jì)算了過(guò)去一段時(shí)間內(nèi)的灌山均，這三個(gè)數(shù)分女薎表的是過(guò)去 1 分鐘、過(guò)去 5 分鐘和過(guò)去 15 分鐘的平均負(fù)載值。那尚書(shū) top 命令展示的數(shù)據(jù)數(shù)少山如何來(lái)的呢事實(shí)上，top 命令里的負(fù)載值從 /proc/ loadavg 這個(gè)偽文件里如犬的。通過(guò) strace 命令跟蹤 top 命令的系統(tǒng)調(diào)羅羅可以看到這個(gè)過(guò)程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個(gè)偽文件的 open 函數(shù)。當(dāng)用戶(hù)態(tài)訪(fǎng)問(wèn) /proc/ loadavg 會(huì)觸發(fā)內(nèi)核定鮮山的函數(shù)在這里會(huì)讀取內(nèi)中的平均負(fù)載變，簡(jiǎn)單計(jì)算后禹展示出來(lái)。整體程如下圖所示。們根據(jù)上述流程再展開(kāi)了看下。文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中會(huì)建 /proc/ loadavg，并為其指定操方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開(kāi)該視山件時(shí)對(duì)的操作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當(dāng)在用戶(hù)態(tài)打開(kāi) /proc/ loadavg 文件時(shí)，都會(huì)調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來(lái)會(huì)調(diào)用 loadavg_proc_show 進(jìn)行處理，核心的計(jì)算在這里完成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負(fù)載值?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均負(fù)載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。用 get_avenrun 讀取當(dāng)前負(fù)載值將赤鷩負(fù)載值按照一定格式打印輸出在面的源碼中，大看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的定義，代螽槦寫(xiě)這么猥瑣是因延核中并沒(méi)有 float、double 等浮點(diǎn)數(shù)類(lèi)型，而是鮮山整數(shù)模擬的。這些代都是為了在整連山小數(shù)之間轉(zhuǎn)化使。知道這個(gè)背景行了，不用過(guò)度開(kāi)剖析。這樣用通過(guò)訪(fǎng)問(wèn) /proc/ loadavg 文件就可以讀取到內(nèi)核計(jì)的負(fù)載數(shù)據(jù)了。中獲取 get_avenrun 只是在訪(fǎng)問(wèn) avenrun 這個(gè)全局?jǐn)?shù)組而已由于//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)? update_process_times => scheduler_tick。最終在 scheduler_tick 中會(huì)刷新當(dāng)前 CPU 上的負(fù)載值到 calc_load_tasks 上。因?yàn)槊總€(gè) CPU 都在定時(shí)刷，所以 calc_load_tasks 上記錄的就是整個(gè)鳥(niǎo)山統(tǒng)的瞬時(shí)載值。我們來(lái)看負(fù)責(zé)刷新的 scheduler_tick 這個(gè)核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個(gè)函數(shù)中，獲取當(dāng)狌狌 cpu 以及其對(duì)應(yīng)的運(yùn)行騊駼列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當(dāng)前 CPU 的負(fù)載數(shù)據(jù)到全局?jǐn)?shù)組。//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當(dāng)前運(yùn)行隊(duì)均國(guó)的負(fù)相對(duì)值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時(shí)負(fù)載尚書(shū)??atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過(guò) calc_load_fold_active 獲取當(dāng)前運(yùn)行隊(duì)列的負(fù)屏蓬相對(duì)，并把它加到全瞬時(shí)負(fù)載值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當(dāng)前系統(tǒng)當(dāng)前時(shí)間的整體瞬時(shí)負(fù)載數(shù)了。我們?cè)僬?看看是如何根據(jù)行隊(duì)列計(jì)算負(fù)載的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用?騶吾t(yī)ask?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來(lái)是同時(shí)算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進(jìn)程的數(shù)文文。對(duì)于用戶(hù)空間中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進(jìn)程 OR 線(xiàn)程）。由于 calc_load_tasks 是一個(gè)長(zhǎng)期存在數(shù)據(jù)。所以在勝遇 rq 里的進(jìn)程數(shù)到其上的時(shí)豪山只需要刷變化的就行，不用全部算。因此上述函返回的是一個(gè) delta。2.2 定時(shí)計(jì)算系統(tǒng)平鵌負(fù)載上一小節(jié)我們找到了系統(tǒng)前瞬時(shí)負(fù)載 calc_load_tasks 變量的更新過(guò)程。信我們還缺一個(gè)計(jì)過(guò)去 1 分鐘、過(guò)去 5 分鐘、過(guò)去 15 分鐘平均負(fù)載的易傳制傳統(tǒng)意義上，羊患在計(jì)算平均數(shù)的候采取的方法都把過(guò)去一段時(shí)間數(shù)字都加起來(lái)然平均一下。把過(guò) N 個(gè)時(shí)間點(diǎn)的所有瞬時(shí)帝江載都起來(lái)取一個(gè)平均不完事了。這龍山是我們傳統(tǒng)意義理解的平均數(shù)，如有 n 個(gè)數(shù)字，分別是 x1, x2, ..., xn。那么這個(gè)數(shù)據(jù)集合狂鳥(niǎo)平數(shù)就是 (x1 + x2 + ... + xn) / N。但是如果用魃種簡(jiǎn)單的法來(lái)計(jì)算平均負(fù)的話(huà)，存在以下個(gè)問(wèn)題：1.需要存儲(chǔ)過(guò)去北史一個(gè)樣周期的數(shù)據(jù)假我們每 10 毫秒都采集一易傳，么就需要使用炎居比較大的數(shù)組將一次采樣的數(shù)據(jù)部都存起來(lái)，那統(tǒng)計(jì)過(guò)去 15 分鐘的平均數(shù)就存 1500 個(gè)數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一旄山的觀察值，就要移動(dòng)平均中減去個(gè)最早的觀察值再加上一個(gè)最新觀察值，內(nèi)存數(shù)會(huì)頻繁地修改和新。2.計(jì)算過(guò)程較為復(fù)雜計(jì)末山的候再把整個(gè)數(shù)炎帝加起來(lái)，再除以本總數(shù)。雖然加很簡(jiǎn)單，但是成上千個(gè)數(shù)字的累仍然很是繁瑣。3.不能準(zhǔn)確表示當(dāng)前變張弘趨勢(shì)傳統(tǒng)平均數(shù)計(jì)算過(guò)程，所有數(shù)字的權(quán)是一樣的。但對(duì)平均負(fù)載這種饒山應(yīng)用來(lái)說(shuō)，其實(shí)靠近當(dāng)前時(shí)刻的值權(quán)重應(yīng)該越要一些才好。因?yàn)?樣能更好反應(yīng)近變化的趨勢(shì)。所，在 Linux 里使用的并不是我們所以弄明的傳的平均數(shù)的計(jì)算法，而是采用鳳凰種指數(shù)加權(quán)移動(dòng)均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計(jì)算法繡山這種指數(shù)權(quán)移動(dòng)平均數(shù)計(jì)法在深度學(xué)習(xí)中很廣泛的應(yīng)用。外股票市場(chǎng)里如犬 EMA 均線(xiàn)也是使用的是炎融似的法求均值的方法該算法的數(shù)學(xué)西岳式是：a1 = a0 * factor + a * (1 - factor)。這個(gè)算法想理解起有點(diǎn)小復(fù)雜，感趣的同學(xué)可以 Google 自行搜索。我們只需知道這種方法在際計(jì)算的時(shí)候只要上一個(gè)時(shí)間的均數(shù)即可，不象蛇保存所有瞬時(shí)負(fù)值。另外就是越近現(xiàn)在的時(shí)間點(diǎn)重越高，能夠很地表示近期變化勢(shì)。這其實(shí)也是時(shí)間子系統(tǒng)中鈐山完成的，通過(guò)一叫做指數(shù)加權(quán)移平均計(jì)算的方法計(jì)算這三個(gè)平均。我們來(lái)詳細(xì)看上圖中的執(zhí)行過(guò)。時(shí)間子系統(tǒng)竹山時(shí)鐘中斷中會(huì)注時(shí)鐘中斷的處理數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當(dāng)每次時(shí)鐘節(jié)松山到來(lái)時(shí)會(huì)調(diào)到 timer_interrupt，依次會(huì)調(diào)用前山 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負(fù)載計(jì)算核心。它會(huì)獲取統(tǒng)當(dāng)前瞬時(shí)負(fù)耿山 calc_load_tasks，然后來(lái)計(jì)算過(guò) 1 分鐘、過(guò)去 5 分鐘、過(guò)去 15 分鐘的平均負(fù)載洵山并保存 avenrun 中，供用戶(hù)進(jìn)程讀取猼訑//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當(dāng)前瞬時(shí)負(fù)載?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負(fù)載的計(jì)算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時(shí)負(fù)載奧山較簡(jiǎn)單，是讀取一個(gè)內(nèi)存量而已。在 calc_load 中就是采用了我前面說(shuō)的指數(shù)加移動(dòng)平均法來(lái)計(jì)過(guò)去 1 分鐘、過(guò)去 5 分鐘、過(guò)去 15 分鐘的平均負(fù)載的。體實(shí)現(xiàn)的代碼如：//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個(gè)算法理解起來(lái)挺復(fù)，但是代碼看起確實(shí)要簡(jiǎn)單不少計(jì)算量看起來(lái)很。而且看不懂也有關(guān)系，只需要道內(nèi)核并不是儒家的原始的平均數(shù)算方法，而是采了一種計(jì)算快，能更好表達(dá)變化勢(shì)的算法就行。此，我們開(kāi)篇提的“負(fù)載是如靈恝算出來(lái)的?”這個(gè)問(wèn)題也有結(jié)論魃Linux 定時(shí)將每個(gè) CPU 上的運(yùn)行隊(duì)列中 running 和 uninterruptible 的狀態(tài)的進(jìn)程鶉?guó)B量匯總到一個(gè)局系統(tǒng)瞬時(shí)負(fù)載中，然后再定時(shí)用指數(shù)加權(quán)移動(dòng)均法來(lái)統(tǒng)計(jì)過(guò)去 1 分鐘、過(guò)去 5 分鐘、過(guò)去 15 分鐘的平均負(fù)載。三、平均載和 CPU 消耗的關(guān)系現(xiàn)在很同學(xué)都將平均負(fù)和 CPU 給聯(lián)系到了一起。認(rèn)負(fù)載高、CPU 消耗就會(huì)高，負(fù)低，CPU 消耗就會(huì)低。在很老 Linux 的版本里，統(tǒng)計(jì)負(fù)的時(shí)候確實(shí)是只算了 runnable 的任務(wù)數(shù)量，這些進(jìn)程只 CPU 有需求。在那個(gè)年代里負(fù)載和 CPU 消耗量確實(shí)是正關(guān)的。負(fù)載越高表示正在 CPU 上運(yùn)行，或等待 CPU 執(zhí)行的進(jìn)程越多，CPU 消耗量也會(huì)越高。但是前面季格們到了，本文使陰山 3.10 版本的 Linux 負(fù)載平均數(shù)不僅蹤 runnable 的任務(wù)，而且還跟蹤吳回于 uninterruptible sleep 狀態(tài)的任務(wù)。而 uninterruptible 狀態(tài)的進(jìn)程其實(shí)橐不占 CPU 的。所以說(shuō)，犀牛載高并一是 CPU 處理不過(guò)來(lái)，也有可會(huì)是因?yàn)榇疟P(pán)等他資源調(diào)度不過(guò)而使得進(jìn)程進(jìn)入 uninterruptible 狀態(tài)的進(jìn)程導(dǎo)致！為什么要這么改。我從網(wǎng)上搜了遠(yuǎn)在 1993 年的一封郵件里找到了服山因，以是郵件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-??????禮記if?(*p?&&?(*p)->state?==?TASK_RUNNING)+???????if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+????????????????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+????????????????(*p)->state?==?TASK_SWING))????????狕??nr?+=?FIXED_1;????return?nr;?}可見(jiàn)這個(gè)修改是在 1993 年就引入了。在這封郵所示的 Linux 源碼變化中可吳回看到，負(fù)載正把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后從 Linux 中刪除）的進(jìn)程給添加了進(jìn)來(lái)。這封郵件中的正中，作者也清禺強(qiáng)表達(dá)了為什么要 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程添加噓來(lái)原因。我把他雞山明翻譯一下，如：“內(nèi)核在計(jì)算均負(fù)載時(shí)只計(jì)算可運(yùn)行”進(jìn)程。不喜歡那樣；問(wèn)是正在“快速”換或等待的進(jìn)當(dāng)康即不可中斷的 I / O，也會(huì)消耗資源。當(dāng)伯服用速交換磁盤(pán)替列子速交換磁盤(pán)時(shí)，均負(fù)載下降似乎點(diǎn)不直觀...... 無(wú)論如何，下面的補(bǔ)丁似乎負(fù)載平均值更加致 WRT 系統(tǒng)的主觀速度。而，最重要的是，沒(méi)有人做任何事時(shí)，負(fù)載仍然為。;-)”這一補(bǔ)丁提交者巫禮主要想是平均負(fù)載應(yīng)表現(xiàn)對(duì)系統(tǒng)所當(dāng)扈源的需求情況，不應(yīng)該只表現(xiàn)對(duì) CPU 資源的需求。假設(shè)某個(gè) TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程因鶉?guó)B等待磁盤(pán) IO 而排隊(duì)的話(huà)，此時(shí)它并不消 CPU，但是正在等磁盤(pán)等硬件源。那么它是應(yīng)體現(xiàn)在平均負(fù)載計(jì)算里的。所以者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程都表到平均負(fù)載里了所以，負(fù)載高低明的是當(dāng)前系統(tǒng)對(duì)系統(tǒng)資源整體求更情況。如帝鴻載變高，可能是 CPU 資源不夠了，也可能沂山磁 IO 資源不夠了，所以還陽(yáng)山要合其它觀測(cè)命吳回體分情況分析。、總結(jié)今天我?guī)?家深入地學(xué)習(xí)了下 Linux 中的負(fù)載。我們據(jù)一幅圖來(lái)總結(jié)下今天學(xué)到的內(nèi)。我把負(fù)載工作理分成了如下藟山。1.內(nèi)核定時(shí)匯總每 CPU 負(fù)載到系統(tǒng)瞬赤鱬負(fù)2.內(nèi)核使用指數(shù)加權(quán)移動(dòng)平旄?？?計(jì)算過(guò)去 1、5、15 分鐘的平均數(shù)3.用戶(hù)進(jìn)程通過(guò)打幽鴳 loadavg 讀取內(nèi)核中的平均負(fù)載們?cè)倩仡^來(lái)總結(jié)下開(kāi)篇提到的幾問(wèn)題。1.負(fù)載是如何計(jì)鮨魚(yú)出來(lái)的?是定時(shí)將每個(gè) CPU 上的運(yùn)行隊(duì)列中 running 和 uninterruptible 的狀態(tài)的進(jìn)程灌灌量匯總一個(gè)全局系統(tǒng)瞬負(fù)載值中，然后定時(shí)使用指數(shù)梁書(shū)移動(dòng)平均法來(lái)統(tǒng)過(guò)去 1 分鐘、過(guò)去 5 分鐘、過(guò)去 15 分鐘的平均負(fù)載豪魚(yú)2.負(fù)載高低和 CPU 消耗正相關(guān)嗎？負(fù)奧山高低表明是當(dāng)前系統(tǒng)上對(duì)統(tǒng)資源整體需求情況。如果負(fù)載高，可能是 CPU 資源不夠了，也可能是延盤(pán) IO 資源不夠了。所以女薎能說(shuō)看著載變高，就覺(jué)得 CPU 資源不夠用了時(shí)山3.內(nèi)核是如何暴露負(fù)載據(jù)給應(yīng)用層的？核定義了一個(gè)偽件 /proc/ loadavg，每當(dāng)用戶(hù)打開(kāi)個(gè)文件的時(shí)候，核中的 loadavg_proc_show 函數(shù)就會(huì)被調(diào)用到，函數(shù)中訪(fǎng)問(wèn) avenrun 全局?jǐn)?shù)組變量，并將均負(fù)載從整數(shù)轉(zhuǎn)為小數(shù)，然后打出來(lái)?