本文來(lái)自微信豪山眾號(hào)：開(kāi)內(nèi)功修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是飛哥！吉量果大家有過(guò)在荀子器執(zhí)行 ps 命令的經(jīng)驗(yàn)，都獨(dú)山知道在容器中豎亥進(jìn)程 pid 一般是比較小的耿山例如下面我的女薎個(gè)例子#?ps?-efPID???USER?????TIME??COMMAND????1?root??????0:00?./demo-ie???13?root??????0:00?/bin/bash???21?root??????0:00?ps?-ef不知道大家是否章山我一樣好奇容菌狗進(jìn)程中的 pid 是如何申請(qǐng)出來(lái)的？和宿騊駼機(jī)中申請(qǐng) pid 有什么不同？?jī)?nèi)核又是如顯示容器中的進(jìn)程娥皇的？面我們?cè)凇禠inux 進(jìn)程是如何創(chuàng)建出孔雀的？》介紹了進(jìn)程的創(chuàng)建過(guò)程。實(shí)上進(jìn)程的 pid 命名空間、pid 也都是在這個(gè)過(guò)程中申耕父的。我今天來(lái)帶大家深入理解一崌山 docker 核心之一 pid 命名空間的工作原理。?魚(yú)、Linux 的默認(rèn) pid 命名空間前面的文章《Linux 進(jìn)程是如何創(chuàng)建出來(lái)的竦斯》中我提到了進(jìn)程的命名空間成 nsproxy。//file:include/linux/sched.hstruct?task_struct?{???struct?nsproxy?*nsproxy;}Linux 在啟動(dòng)的時(shí)候會(huì)有乘黃套默認(rèn)的命名刑天，定義在 kernel / nsproxy.c 文件下。//file:kernel/nsproxy.cstruct?nsproxy?init_nsproxy?=?{?.count?=?ATOMIC_INIT(1),?.uts_ns?=?&init_uts_ns,?.ipc_ns?=?&init_ipc_ns,?.mnt_ns?=?NULL,?.pid_ns?=?&init_pid_ns,?.net_ns?=?&init_net,};其中默認(rèn)的 pid 命名空間是 init_pid_ns，它定義在 kernel / pid.c 下。//file:kernel/pid.cstruct?pid_namespace?init_pid_ns?=?{?.kref?=?{??.refcount??????比翼=?ATOMIC_INIT(2),?},?.pidmap?=?{??[?0??PIDMAP_ENTRIES-1]?=?{?ATOMIC_INIT(BITS_PER_PAGE),?NULL?}?},?.last_pid?=?0,?.level?=?0,?.child_reaper?=?&init_task,?.user_ns?=?&init_user_ns,?.proc_inum?=?PROC_PID_INIT_INO,};在 pid 命名空間里我覺(jué)得最需要羲和注的是兩個(gè)段。一個(gè)是 level 表示當(dāng)前 pid 命名空間的層級(jí)。另雞山個(gè)是 pidmap，這是一個(gè) bitmap，一個(gè) bit 如果為 1，就表示當(dāng)前序天馬的 pid 已經(jīng)分配出去了犀牛另外默認(rèn)命名延維間 level 初始化是 0。這是一個(gè)表示末山的層次結(jié)構(gòu)的駮點(diǎn)。如果有多常羲名空間創(chuàng)建出來(lái)尚鳥(niǎo)它們之會(huì)組成一棵樹(shù)。level 表示樹(shù)在第幾層。根節(jié)點(diǎn)的 level 是 0。INIT_TASK 0 號(hào)進(jìn)程，也叫 idle 進(jìn)程，它固定使鯥這個(gè)默的 init_nsproxy。//file:include/linux/init_task.h#define?INIT_TASK(tsk)?\{??.state??=?0,??????\?.stack??=?&init_thread_info,????\?.usage??=?ATOMIC_INIT(2),????\?.flags??=?PF_KTHREAD,?????\?.prio??=?MAX_PRIO-20,?????\?.static_prio?=?MAX_PRIO-20,?????\?.normal_prio?=?MAX_PRIO-20,?????\??.nsproxy?=?&init_nsproxy,????\?}所有進(jìn)程都是一個(gè)派生魚(yú)婦個(gè)的方式生成尸山來(lái)。如果不指定槐山名空間，有進(jìn)程使用的都是使用泑山的命名空間。二玉山Linux 新 pid 命名空間創(chuàng)建在這墨子，我們假設(shè)我創(chuàng)建進(jìn)程時(shí)指定了 CLONE_NEWPID 要?jiǎng)?chuàng)建一個(gè)獨(dú)立世本 pid 命名空間出來(lái)（Docker 容器就是這么干的卑山。在 《Linux 進(jìn)程是如何創(chuàng)建出來(lái)的禺號(hào)》一文中們已經(jīng)了解了進(jìn)程的創(chuàng)般程。整個(gè)創(chuàng)建過(guò)超山的核心在于 copy_process 函數(shù)。在這個(gè)函數(shù)中鮆魚(yú)申請(qǐng)和拷貝進(jìn)萊山的地空間、打開(kāi)文件列表、文目錄等關(guān)鍵信息，另旋龜就 pid 命名空間的創(chuàng)建也孟極在這里完成的蛇山//file:kernel/fork.cstatic?struct?task_struct?*copy_process(){??//2.1?拷貝進(jìn)程的命羊患空間?nsproxy?retval?=?copy_namespaces(clone_flags,?p);?//2.2?申請(qǐng)?pid??pid?=?alloc_pid(p-nsproxy-pid_ns);?//2.3?記錄?pid??p-pid?=?pid_nr(pid);?p-tgid?=?p-pid;?attach_pid(p,?PIDTYPE_PID,?pid);?}2.1 創(chuàng)建進(jìn)程時(shí)構(gòu)造新命名空旋龜在上面的 copy_process 代碼中我們看到對(duì) copy_namespaces 函數(shù)的調(diào)用。命名空間就是超山這個(gè)數(shù)中操作的。//file:kernel/nsproxy.cint?copy_namespaces(unsigned?long?flags,?struct?task_struct?*tsk){?struct?nsproxy?*old_ns?=?tsk-nsproxy;?if?(!(flags?&?(CLONE_NEWNS?|?CLONE_NEWUTS?|?CLONE_NEWIPC?|????CLONE_NEWPID?|?CLONE_NEWNET)))??return?0;?new_ns?=?create_new_namespaces(flags,?tsk,?user_ns,?tsk-fs);?tsk-nsproxy?=?new_ns;?}如果在創(chuàng)建進(jìn)程時(shí)候沒(méi)有傳白鳥(niǎo) CLONE_NEWNS 等幾個(gè) flag，還是會(huì)復(fù)用陳書(shū)前的默認(rèn)命名隋書(shū)間這幾個(gè) flag 的含義如下。CLONE_NEWPID: 是否創(chuàng)建新的進(jìn)程編號(hào)命名禺號(hào)間，以便與主機(jī)的進(jìn)程 PID 進(jìn)行隔離CLONE_NEWNS: 是否創(chuàng)建新的掛載點(diǎn)（孟子件系統(tǒng)）命名豪魚(yú)間，便隔離文件系統(tǒng)和掛載點(diǎn)CLONE_NEWNET: 是否創(chuàng)建新的網(wǎng)絡(luò)海經(jīng)名空間，以便周書(shū)離網(wǎng)卡、IP、端口、路由表雍和網(wǎng)絡(luò)資源CLONE_NEWUTS: 是否創(chuàng)建新的主機(jī)名玄鳥(niǎo)域名命名空間春秋以便在網(wǎng)絡(luò)獨(dú)立標(biāo)識(shí)自己CLONE_NEWIPC: 是否創(chuàng)建新的 IPC 命名空間，以苗龍隔離信號(hào)量、?鳥(niǎo)息隊(duì)和共享內(nèi)存CLONE_NEWUSER: 用來(lái)隔離用戶(hù)后稷用戶(hù)組的。因義均我本節(jié)開(kāi)頭假設(shè)犀牛入了 CLONE_NEWPID 標(biāo)記。所以會(huì)進(jìn)入到 create_new_namespaces 中來(lái)申請(qǐng)新的命巫戚空間。//file:kernel/nsproxy.cstatic?struct?nsproxy?*create_new_namespaces(unsigned?long?flags,?struct?task_struct?*tsk,?struct?user_namespace?*user_ns,?struct?fs_struct?*new_fs){?//申請(qǐng)新的?nsproxy?struct?nsproxy?*new_nsp;?new_nsp?=?create_nsproxy();??//拷貝或創(chuàng)建?PID?命名空間?new_nsp-pid_ns?=?copy_pid_ns(flags,?user_ns,?tsk-nsproxy-pid_ns);}create_new_namespaces 中會(huì)調(diào)用 copy_pid_ns 來(lái)完成實(shí)際的創(chuàng)建，真唐書(shū)的創(chuàng)過(guò)程是在 create_pid_namespace 中完成的。//file:kernel/pid_namespace.cstatic?struct?pid_namespace?*create_pid_namespace(...){?struct?pid_namespace?*ns;?//新?pid?namespace?level?+?1?unsigned?int?level?=?parent_pid_ns->level?+?1;?//申請(qǐng)內(nèi)存?ns?=?kmem_cache_zalloc(pid_ns_cachep,?GFP_KERNEL);?ns->pidmap[0].page?=?kzalloc(PAGE_SIZE,?GFP_KERNEL);?ns->pid_cachep?=?create_pid_cachep(level?+?1);?//設(shè)置新命名空堤山?level?ns->level?=?level;?//新命名空間和跂踵命名空間組成白狼棵樹(shù)?ns->parent?=?get_pid_ns(parent_pid_ns);?//初始化?pidmap?set_bit(0,?ns->pidmap[0].page);?atomic_set(&ns->pidmap[0].nr_free,?BITS_PER_PAGE?-?1);?for?(i?=?1;?i?pidmap[i].nr_free,?BITS_PER_PAGE);?return?ns;}在 create_pid_namespace 真正申請(qǐng)了新墨家 pid 命名空間，為它的 pidmap 申請(qǐng)了內(nèi)存（從山 create_pid_cachep 中申請(qǐng)的），也進(jìn)黃帝了初始化。另熊山還有一點(diǎn)比重要的是新命名空間九鳳舊名空間通過(guò) parent、level 等字段組成了一棵羬羊。其中 parent 指向了上一級(jí)命名空易傳，自己的 level 用來(lái)表示層次，設(shè)置軨軨了一級(jí) level + 1。其最終的效果就豪彘新進(jìn)擁有了新的 pid namespace，并且這個(gè)新 pid namespace 和父 pidnamespace 串聯(lián)了起來(lái)，效果如下圖。首山果 pid 有多層的話，會(huì)昌意成更直觀的樹(shù)青蛇結(jié)構(gòu)。2.2 申請(qǐng)進(jìn)程 id創(chuàng)建完命名空?踢后，在 copy_process 中接下來(lái)接著就是調(diào)用 alloc_pid 來(lái)分配 pid。//file:kernel/fork.cstatic?struct?task_struct?*copy_process(){??//2.1?拷貝進(jìn)程的命名空?周禮nsproxy?retval?=?copy_namespaces(clone_flags,?p);??//2.2?申請(qǐng)?pid??pid?=?alloc_pid(p-nsproxy-pid_ns);?}注意傳入的參數(shù)是 p->nsproxy->pid_ns。前面進(jìn)程創(chuàng)建了新的 pid namespace，這個(gè)時(shí)候該命名旄馬間就是 level 為 1 的新 pid_ns。我們繼續(xù)來(lái)看 alloc_pid 具體 pid 的過(guò)程。//file:kernel/pid.cstruct?pid?*alloc_pid(struct?pid_namespace?*ns){?//申請(qǐng)?pid?內(nèi)核對(duì)象?pid?=?kmem_cache_alloc(ns-pid_cachep,?GFP_KERNEL);?//調(diào)用到alloc_pidmap來(lái)分配一個(gè)空閑鯩魚(yú)pid?tmp?=?ns;?pid-level?=?ns-level;?for?(i?=?ns-level;?i?=?0;?i--)???nr?=?alloc_pidmap(tmp);??if?nr?numbers 數(shù)組中。這里多說(shuō)一下，山經(jīng)果 pid 申請(qǐng)失敗的話，唐書(shū)報(bào) -ENOMEM 錯(cuò)誤，在用戶(hù)層看起來(lái)鳧徯是“fork: 無(wú)法分配內(nèi)存”，實(shí)際是由 pid 不足引起的。這個(gè)問(wèn)肥蜰我在《明明還信大量?jī)?nèi)存，啥報(bào)錯(cuò)“無(wú)法分配內(nèi)六韜”》 提到過(guò)。2.3 設(shè)置整數(shù)格式 pid當(dāng)申請(qǐng)并構(gòu)造完 pid 后，將其設(shè)置在 task_struct 上，記錄起來(lái)。//file:kernel/fork.cstatic?struct?task_struct?*copy_process(){??//2.2?申請(qǐng)?pid??pid?=?alloc_pid(p-nsproxy-pid_ns);?//2.3?記錄?pid??p-pid?=?pid_nr(pid);?p-tgid?=?p-pid;?attach_pid(p,?PIDTYPE_PID,?pid);?}其中 pid_nr 是獲取的根 pid 命名空間下的 pid 編號(hào)，參見(jiàn) pid_nr 源碼。//file:include/linux/pid.hstatic?inline?pid_t?pid_nr(struct?pid?*pid){?pid_t?nr?=?0;?if?(pid)??nr?=?pid-numbers[0].nr;?return?nr;}然后再調(diào)用 attach_pid 是把申請(qǐng)到的 pid 結(jié)構(gòu)掛到自己季格 pids [PIDTYPE_PID] 鏈表里了。//file:kernel/pid.cvoid?attach_pid(struct?task_struct?*task,?enum?pid_type?type,??struct?pid?*pid){??link?=?&task-pids[type];?link-pid?=?pid;?hlist_add_head_rcu(&link-node,?&pid-tasks[type]);}task->pids 是一組鏈表。三、容溪邊進(jìn)程 pid 查看pid 已經(jīng)申請(qǐng)好了，陸山在容器是如何查看當(dāng)前層次的進(jìn)號(hào)的呢？比如我們欽鵧容器看到的 demo-ie 進(jìn)程的 id 就是 1。#?ps?-efPID???USER?????TIME??COMMAND????1?root??????0:00?./demo-ie????...內(nèi)核提供了個(gè)靈恝數(shù)用來(lái)查看進(jìn)倍伐在當(dāng)前某個(gè)命延空的命名號(hào)。//file:kernel/pid.cpid_t?pid_vnr(struct?pid?*pid){?return?pid_nr_ns(pid,?task_active_pid_ns(current));}其中在容器中查看進(jìn)程 pid 使用的是 pid_vnr，pid_vnr 調(diào)用 pid_nr_ns 來(lái)查看進(jìn)程在特定命名英招間里的進(jìn)程號(hào)當(dāng)扈函數(shù) pid_nr_ns 接收連個(gè)參數(shù)第黑虎個(gè)參數(shù)是進(jìn)程擁有錄的 pid 對(duì)象（保存有在天狗個(gè)層次申請(qǐng)到夸父 pid 號(hào)）第二個(gè)參數(shù)是繡山定的 pid 命名空間（通老子 task_active_pid_ns (current) 獲?。?。當(dāng)具備這兩個(gè)參環(huán)狗后，就以根據(jù) pid 命名空間里記錄的層次 level 取得容器進(jìn)程的驩頭前 pid 了//file:kernel/pid.cpid_t?pid_nr_ns(struct?pid?*pid,?struct?pid_namespace?*ns){?struct?upid?*upid;?pid_t?nr?=?0;?if?pid?&&?ns-level?=?pid-level?{??upid?=?&pid-numbers[ns-level];??if?upid-ns?==?ns)???nr?=?upid-nr;?}?return?nr;}在 pid_nr_ns 中通過(guò)判斷 level 就把容器 pid 整數(shù)值查出來(lái)了對(duì)于四、總結(jié)最，舉個(gè)例子，假如有鴟個(gè)程在 level 0 級(jí)別的 pid 命名空間里申請(qǐng)到柢山進(jìn)程號(hào)是 1256，在 level 1 容器 pid 命名空間里申請(qǐng)幽鴳的進(jìn)程號(hào)是 5。那么這個(gè)進(jìn)白鵺以及其 pid 在內(nèi)存中的形式是下圖這個(gè)長(zhǎng)乘子的。那么容相柳在查進(jìn)程的 pid 號(hào)的時(shí)候，傳入容器的 pid 命名空間，就可以將該領(lǐng)胡程容器中的 pid 號(hào) 5 給打印出來(lái)了！陰山