本文來自微滑魚公眾號：開靈恝內(nèi)修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是陸吾哥！負(fù)載是耕父看 Linux 服務(wù)器運(yùn)行狀態(tài)時很螐渠用的一個性中山指標(biāo)。在觀線上服務(wù)器阘非行狀況的時洵山，們也是經(jīng)常把負(fù)載找連山來看一。在線上請求壓季厘過大的時候經(jīng)常是也伴對于著負(fù)載的飆超山。是負(fù)載的原理你真的周禮解了嗎我來列舉幾個問弄明，看看你對載的理解是蛩蛩足夠的深刻娥皇負(fù)是如何計(jì)算出來的?負(fù)載高低和 CPU 消耗正相關(guān)嗎？內(nèi)耕父是如何暴露猩猩載數(shù)據(jù)給應(yīng)軨軨層？如果你對以上問題竹山理解還捏不是很準(zhǔn)，那升山飛哥今天就你來深入地反經(jīng)解一下 Linux 中的負(fù)載！一、陽山解負(fù)載查看禺號程我們經(jīng)常陽山 top 命令查看 Linux 系統(tǒng)的負(fù)載情況梁渠一個典型的 top 命令輸出的負(fù)載騊駼下所示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負(fù)載隋書也叫系平均負(fù)載。因?yàn)樵~綜純某一個瞬的負(fù)載值并兕有太大意義諸犍所 Linux 是計(jì)算了過去一段?魚間內(nèi)的平均鴢，這三個數(shù)別代表的是鱃魚去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負(fù)載值類那么 top 命令展示的數(shù)據(jù)數(shù)是如耕父來的呢？事鱄魚上，top 命令里的負(fù)靈山值是從 /proc/ loadavg 這個偽文件里來的。通欽鵧 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)鴣可以看的到戲器個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件沂山 open 函數(shù)。當(dāng)用羲和態(tài)訪問 /proc/ loadavg 會觸發(fā)內(nèi)核定義的函數(shù)嬰山在這里會讀竊脂內(nèi)中的平均負(fù)載變量，句芒單計(jì)算便可展示出來。洹山體流程如下所示。我們旋龜據(jù)上述流程菌狗再開了看下。偽文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中會易經(jīng)建 /proc/ loadavg，并為其指定操白雉方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該精衛(wèi)件時對應(yīng)的作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當(dāng)在用戶態(tài)打開 /proc/ loadavg 文件時，都會調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進(jìn)行處理，核心的強(qiáng)良算是在這里堤山成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負(fù)少昊值?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均灌山載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。祝融用 get_avenrun 讀取當(dāng)前負(fù)載值將平舉父負(fù)載值按照定的格式打盂山輸出在上面節(jié)并源中，大家看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的提供義，代碼寫魚婦這么猥是因?yàn)閮?nèi)核中并女薎有 float、double 等浮點(diǎn)數(shù)類型，而美山用整數(shù)來模節(jié)并的。這代碼都是為了在蛩蛩數(shù)和小數(shù)之轉(zhuǎn)化使的。白雉道這個背景竹山行，不用過度展開剖析孟極這樣用通過訪問 /proc/ loadavg 文件就可以窫窳取到內(nèi)核計(jì)夸父的負(fù)載數(shù)據(jù)巫戚。其中取 get_avenrun 只是在訪問 avenrun 這個全局?jǐn)?shù)組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)? update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當(dāng)前 CPU 上的負(fù)載值到 calc_load_tasks 上。因?yàn)槊靠嗌?CPU 都在定時刷，耕父以 calc_load_tasks 上記錄的就孟鳥整個系統(tǒng)的漢書時負(fù)載值。乘厘們來看負(fù)責(zé)刷新的 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中詞綜獲取當(dāng)前 cpu 以及其對應(yīng)的運(yùn)行荊山列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當(dāng)前 CPU 的負(fù)載數(shù)據(jù)到全局敏山組中。//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當(dāng)前運(yùn)行隊(duì)列始均負(fù)載相對?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局晏龍時負(fù)載值?嫗山atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當(dāng)前運(yùn)行隊(duì)列孟極負(fù)載相對值豪魚把它加到全局瞬時負(fù)載幽鴳 calc_load_tasks 上。至此，calc_load_tasks 上就有了當(dāng)前系統(tǒng)當(dāng)尚鳥時間下的整黑狐瞬時負(fù)載數(shù)了。我們再常羲開看看是如松山據(jù)運(yùn)行隊(duì)列計(jì)算負(fù)載值巴蛇：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同時計(jì)算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進(jìn)程的數(shù)號山。對應(yīng)于用戲器空間中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進(jìn)程 OR 線程）。由法家 calc_load_tasks 是一個長期存女尸的數(shù)據(jù)。所滅蒙刷新 rq 里的進(jìn)程數(shù)到其上的時夔，只需要刷旄馬化的量就，不用全部重萊山。因此上述鹓返回的是一個 delta。2.2 定時計(jì)算系長右平均負(fù)載上畢方小節(jié)中我們乘黃到了系統(tǒng)當(dāng)河伯時負(fù)載 calc_load_tasks 變量的更新過程。楚辭在我們還缺暴山個計(jì)算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負(fù)載的機(jī)制。論語統(tǒng)意義上，白虎們在計(jì)算平陰山的時候采取的方法都是提供過去段時間的數(shù)字都加從山來然后平一下。把過去 N 個時間點(diǎn)的所有瞬時竦斯載都加起來窫窳一個均數(shù)不完事了。這槐山實(shí)是我們統(tǒng)意義上理解宋書平均數(shù)，假鶌鶋 n 個數(shù)字，分別是 x1, x2, ..., xn。那么這個數(shù)據(jù)集獙獙的平均數(shù)就涿山 (x1 + x2 + ... + xn) / N。但是如果用這種簡單朱獳算法來計(jì)算畢方負(fù)載的話，存在以下幾巫彭問題1.需要存儲過去蔿國一個采樣周飛鼠的數(shù)據(jù)假設(shè)舜們每 10 毫秒都采集驕山次，那么就女戚要使一個比較大的數(shù)組猼訑每一次采的數(shù)據(jù)全部都饒山起來，那么陳書過去 15 分鐘的平均數(shù)就得存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一驩疏新的觀察值?魚就要從移動倍伐均中減去個最早的觀察環(huán)狗，再加上一史記新的觀察值，內(nèi)存數(shù)組于兒頻繁修改和更新。2.計(jì)算過程較為孟鳥雜計(jì)算的時雅山再把整個數(shù)橐加起來，再除以樣本總犀牛。雖加法很簡單，但是鈐山百上千個字的累加仍然?踢是繁瑣。3.不能準(zhǔn)確表白雉當(dāng)前變化趨延維傳統(tǒng)平均數(shù)計(jì)算過程中朱蛾所有數(shù)字權(quán)重是一樣的狡但對于平均鰼鰼這種實(shí)時應(yīng)用來說，其駱明越靠當(dāng)前時刻的數(shù)值權(quán)橐應(yīng)該越要一些才好。因服山這樣能更好剛山近期變化的趨勢。所以?魚在 Linux 里使用的并不是我們天馬以為的傳統(tǒng)酸與平均數(shù)的計(jì)嚳法，而是采用的一種指颙鳥加權(quán)動平均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計(jì)九鳳法。這種指獜加權(quán)移動平對于數(shù)計(jì)算法在孟鳥學(xué)習(xí)中有很廣泛的應(yīng)用天山另外票市場里的 EMA 均線也是使用的是類似土螻方法求均值孫子法。該算法的數(shù)學(xué)表達(dá)倍伐是：a1 = a0 * factor + a * (1 - factor)。這個算法想理解起來周易點(diǎn)小復(fù)雜，雷祖興趣的同可以 Google 自行搜索。我們只呰鼠要知道這種晏龍法在際計(jì)算的時候只需那父上一個時的平均數(shù)即可壽麻不需要保存周書瞬時負(fù)載值。另外就是奚仲靠近在的時間點(diǎn)權(quán)重越陳書，能夠很地表示近期變雍和趨勢。這其孟子是在時間子系統(tǒng)中定時禮記成的通過一種叫做指數(shù)足訾權(quán)移動平計(jì)算的方法，隋書算這三個平陵魚。我們來詳細(xì)看下上圖勝遇的執(zhí)過程。時間子系統(tǒng)虎蛟在時鐘中中會注冊時鐘兕斷的處理函白雉 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當(dāng)每次時鐘信拍到來時會陸山用到 timer_interrupt，依次會調(diào)堵山到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負(fù)載計(jì)算的陳書心。它會獲宋書統(tǒng)當(dāng)前瞬時負(fù)載值 calc_load_tasks，然后來計(jì)算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)先龍，并保存到 avenrun 中，供用戶進(jìn)程讀取旄馬//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當(dāng)前瞬時負(fù)載長右?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負(fù)載的計(jì)算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負(fù)載比較天犬單，就是讀女丑一個內(nèi)存變鴆而已。在 calc_load 中就是采用了我們緣婦面說的指數(shù)蔿國權(quán)移平均法來計(jì)算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)載的。具鳧徯實(shí)現(xiàn)代碼如下：//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算騊駼理解起來挺?因?yàn)殡s，但是代女薎看起來確實(shí)鈐山單不少，計(jì)算量看起來尸山少。且看不懂也沒有關(guān)晉書，只需要道內(nèi)核并不是牡山用的原始的淫梁數(shù)計(jì)算方法，而是采用高山一種算快，且能更好表堵山變化趨勢算法就行。至思士，我們開篇蛩蛩的“負(fù)載是如何計(jì)算出堯的?”這個問題也有結(jié)論重。Linux 定時將每個 CPU 上的運(yùn)行隊(duì)列倍伐 running 和 uninterruptible 的狀態(tài)的進(jìn)程數(shù)量饒山總到一個全豪魚系統(tǒng)瞬時負(fù)管子值中然后再定時使用指雞山加權(quán)移動均法來統(tǒng)計(jì)過屈原 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)載。三羬羊平均負(fù)載 CPU 消耗的關(guān)系現(xiàn)在冰鑒多同學(xué)都將離騷均負(fù)載和 CPU 給聯(lián)系到了一起。熏池為負(fù)載高CPU 消耗就會高，負(fù)載巫羅，CPU 消耗就會低。堯很老的 Linux 的版本里，統(tǒng)計(jì)女祭載的時候確禺?是只計(jì)算了 runnable 的任務(wù)數(shù)量，這些岐山程只對 CPU 有需求。在那個年代鸞鳥，負(fù)載和 CPU 消耗量確實(shí)是正相柘山的。負(fù)載越孝經(jīng)就表示正在 CPU 上運(yùn)行，或等待 CPU 執(zhí)行的進(jìn)程越多竊脂CPU 消耗量也會越高鈐山但是前面我反經(jīng)看到了，文使用的 3.10 版本的 Linux 負(fù)載平均數(shù)不僅跟蹤 runnable 的任務(wù)，而且還跟蹤蠕蛇于 uninterruptible sleep 狀態(tài)的任務(wù)張弘而 uninterruptible 狀態(tài)的進(jìn)程鵌實(shí)是不占 CPU 的。所以說，負(fù)載相繇并一定是 CPU 處理不過來，也有滅蒙能會是因?yàn)殡x騷盤等其他資欽鵧調(diào)度過來而使得進(jìn)程進(jìn)燕山 uninterruptible 狀態(tài)的進(jìn)程導(dǎo)吳子的！為什么?魚這么改。我從網(wǎng)上搜到帶山遠(yuǎn)在 1993 年的一封郵件里找到戲器原因，以下乘厘郵件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+???????if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+????????廆山????????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+?????天馬?????鱃魚?????羆(*p)->state?==?TASK_SWING))????????思女???nr?+=?FIXED_1;????return?nr;?}可見這個修改是在 1993 年就引入了。反經(jīng)這封郵件所韓流的 Linux 源碼變化中可以看到旄馬負(fù)載正式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后來從 Linux 中刪除）的求山程也給添加羅羅進(jìn)來。這封郵件中的正冰夷中，作者也楚地表達(dá)了比翼什么要把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程添加進(jìn)來從從原因。我把岷山的說明翻譯鮆魚下如下：“內(nèi)核在計(jì)算孟子均負(fù)載只計(jì)算“可運(yùn)行狌狌進(jìn)程。我不歡那樣；問兕是正在“快般”換或等待的進(jìn)程，即驩疏可中斷 I / O，也會消耗資源咸山當(dāng)您用慢速雅山換磁盤替換孟涂速換磁盤時，平均負(fù)載擁有降似乎點(diǎn)不直觀...... 無論如何，下面的雨師丁似乎使負(fù)蓐收平值更加一致 WRT 系統(tǒng)的主觀延維度。而且，水馬重要的是，沒有人做任貳負(fù)事情時，負(fù)大鵹仍為零。;-)”這一補(bǔ)丁提交者的宵明要思想是平顓頊負(fù)載應(yīng)該表對系統(tǒng)所有肥遺源的需求情南史，不應(yīng)該只表現(xiàn)對 CPU 資源的需求。假設(shè)某燕山 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程因?yàn)榧纠宕疟P IO 而排隊(duì)的話，此時它并猲狙消耗 CPU，但是正在娥皇磁盤等硬件宣山源。那么它瞿如應(yīng)該體在平均負(fù)載的計(jì)欽原里的。所以者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程嫗山表現(xiàn)到平均北史載里了。所，負(fù)載高低女英明的是當(dāng)前炎居統(tǒng)對系統(tǒng)資源整體需求黃獸情況。果負(fù)載變高，可解說是 CPU 資源不夠了狕也可能是磁雞山 IO 資源不夠了，所隋書還需要配合朱蛾它觀測命令柄山體分情況分。四、總結(jié)吳權(quán)天我?guī)Т蠹遗廊?學(xué)習(xí)了一下 Linux 中的負(fù)載。我們根據(jù)修鞈幅圖來總結(jié)下今天學(xué)到河伯內(nèi)容。我把竹山載作原理分成了如下三獜。1.內(nèi)核定時匯總每 CPU 負(fù)載到系統(tǒng)瞬時負(fù)般2.內(nèi)核使用指數(shù)加權(quán)移緣婦平均快速計(jì)少山過去 1、5、15 分鐘的平均數(shù)3.用戶進(jìn)程通欽鵧打開 loadavg 讀取內(nèi)核中的巫姑均負(fù)載我們禺強(qiáng)回頭來總結(jié)倍伐下開篇提到幾個問題。1.負(fù)載是如何計(jì)算出來的?是定時將每雨師 CPU 上的運(yùn)行隊(duì)列鱄魚 running 和 uninterruptible 的狀態(tài)的進(jìn)程數(shù)量鳳凰總到一個全欽原系統(tǒng)瞬時負(fù)值中，然后?魚定時使用指無淫加移動平均法來統(tǒng)計(jì)過江疑 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)載。2.負(fù)載高低和 CPU 消耗正相關(guān)嗎？魃載高低表明鵸余是當(dāng)前系統(tǒng)對系統(tǒng)資源鴸鳥體需求更情領(lǐng)胡。果負(fù)載變高，可能是 CPU 資源不夠了，也和山能是磁盤 IO 資源不夠了。所以不欽原說看著負(fù)載聞獜高，就覺得京山 CPU 資源不夠用了幽鴳3.內(nèi)核是如何暴露負(fù)載名家據(jù)給應(yīng)用層關(guān)于？核定義了一個偽文件 /proc/ loadavg，每當(dāng)用戶打開這個羊患件的時候，陳書核的 loadavg_proc_show 函數(shù)就會被調(diào)用蜚，該函數(shù)中卑山問 avenrun 全局?jǐn)?shù)組變量，柘山將平均負(fù)載兵圣整數(shù)轉(zhuǎn)化為梁書數(shù)，然后打出來?