| 文件名 | 含義 |
|---|---|
| memory.usage_in_bytes | 已使用的內(nèi)存量(包含cache和buffer)(字節(jié))，相當(dāng)于linux的used_meme |
| memory.limit_in_bytes | 限制的內(nèi)存總量(字節(jié))，相當(dāng)于linux的total_mem |
| memory.failcnt | 申請內(nèi)存失敗次數(shù)計(jì)數(shù) |
| memory.stat | 內(nèi)存相關(guān)狀態(tài) |
memory.stat的文件包含的內(nèi)容
| 字段 | 含義 |
|---|---|
| cache | 頁緩存，包括 tmpfs（shmem），單位為字節(jié) |
| rss | 匿名和 swap 緩存，不包括 tmpfs（shmem），單位為字節(jié) |
| mapped_file | memory-mapped 映射的文件大小，包括 tmpfs（shmem），單位為字節(jié) |
| pgpgin | 存入內(nèi)存中的頁數(shù) |
| pgpgout | 從內(nèi)存中讀出的頁數(shù) |
| swap | swap 用量，單位為字節(jié) |
| active_anon | 在活躍的最近最少使用（least-recently-used，LRU）列表中的匿名和 swap 緩存，包括 tmpfs（shmem），單位為字節(jié) |
| inactive_anon | 不活躍的 LRU 列表中的匿名和 swap 緩存，包括 tmpfs（shmem），單位為字節(jié) |
| active_file | 活躍 LRU 列表中的 file-backed 內(nèi)存，以字節(jié)為單位 |
| inactive_file | 不活躍 LRU 列表中的 file-backed 內(nèi)存，以字節(jié)為單位 |
| unevictable | 無法再生的內(nèi)存，以字節(jié)為單位 |
| hierarchical_memory_limit | 包含 memory cgroup 的層級(jí)的內(nèi)存限制，單位為字節(jié) |
| hierarchical_memsw_limit | 包含 memory cgroup 的層級(jí)的內(nèi)存加 swap 限制，單位為字節(jié) |
查看memory.limit_in_bytes文件
/sys/fs/cgroup/memory # cat memory.limit_in_bytes 2147483648
計(jì)算容器的限制內(nèi)存為2g，和yaml文件里面定義的限制內(nèi)存一樣。查看memory.usag_in_bytes文件
/sys/fs/cgroup/memory # cat memory.usage_in_bytes 2739376
通過docker stats 容器id查看容器的占用內(nèi)存，和memory.usage_in_bytes的數(shù)據(jù)相符。
~ # dd if=/dev/zero of=test bs=1M count=1500 1500+0 records in 1500+0 records out 1572864000 bytes (1.5GB) copied, 1.279989 seconds, 1.1GB/s
再次通過docker stats 容器id查看容器的占用內(nèi)存
查看memory.usage_in_bytes文件
/sys/fs/cgroup/memory # cat memory.usage_in_bytes 1619329024
發(fā)現(xiàn)容器的占用內(nèi)存達(dá)到了1.5g，查看memory.stat
/sys/fs/cgroup/memory # cat memory.stat cache 1572868096 rss 147456 rss_huge 0 mapped_file 0 dirty 1572868096 writeback 0 swap 0 pgpgin 384470 pgpgout 433 pgfault 607 pgmajfault 0 inactive_anon 77824 active_anon 12288 inactive_file 1572864000 active_file 4096 unevictable 0 hierarchical_memory_limit 2147483648 hierarchical_memsw_limit 4294967296 total_cache 1572868096 total_rss 147456 total_rss_huge 0 total_mapped_file 0 total_dirty 1572868096 total_writeback 0 total_swap 0 total_pgpgin 384470 total_pgpgout 433 total_pgfault 607 total_pgmajfault 0 total_inactive_anon 77824 total_active_anon 12288 total_inactive_file 1572864000 total_active_file 4096 total_unevictable 0
memory.stat文件中的cache字段添加了1.5g，而inactive_file字段為1.5g，因此，dd所產(chǎn)生的文件cache計(jì)算在inactive_file上。這就導(dǎo)致了所看到的容器內(nèi)存的監(jiān)控居高不下，因?yàn)閏ache是可重用的，并不能反映進(jìn)程占用內(nèi)存。
一般情況下，計(jì)算監(jiān)控內(nèi)存可根據(jù)計(jì)算公式：
active_anon + inactive_anon = anonymous memory + file cache for tmpfs + swap cache Therefore active_anon + inactive_anon ≠ rss, because rss does not include tmpfs. active_file + inactive_file = cache - size of tmpfs
所以實(shí)際內(nèi)存使用計(jì)算為：
real_used = memory.usage_in_bytes - (active_file + inactive_file)
(1)準(zhǔn)備tomcat鏡像和jmeter壓測工具，tomcat的yaml文件如下
apiVersion: extensions/v1beta1 kind: Deployment metadata: name: tomcat-deployment spec: replicas: 1 template: metadata: labels: app: tomcat spec: containers: - name: tomcat image: registy.dcos:8021/public/tomcat:8 ports: - containerPort: 8080 resources: limits: cpu: "1" memory: 300Mi --- apiVersion: v1 kind: Service metadata: labels: name: tomcat name: tomcat namespace: default spec: ports: - name: tomcat port: 8080 protocol: TCP targetPort: 8080 type: NodePort selector: app: tomcat
yaml文件中限制tomcat鏡像的使用內(nèi)存為300Mi，執(zhí)行命令生成文件。通過docker stats查看沒有負(fù)載情況下tomcat容器的內(nèi)存占用。
(2)提取tomcat的service nodePort端口
[docker@ecs-5f72-0006 ~]$ kubectl get svc tomcat -o=custom-columns=nodePort:.spec.ports[0].nodePort nodePort 31401
(3)登陸jmeter官網(wǎng)下載壓測工具
在windows上運(yùn)行jmeter工具，到bin目錄點(diǎn)擊運(yùn)行jmeter，配置jmeter如下：
配置好測試選項(xiàng)后點(diǎn)擊啟動(dòng)按鈕開始?jí)簻y，通過docker stats查看容器內(nèi)存使用情況發(fā)現(xiàn)已經(jīng)到達(dá)限制。
通過kubectl get pods查看pod的運(yùn)行情況發(fā)現(xiàn)tomcat由于內(nèi)存超過限制值被kill掉。
關(guān)于docker stats內(nèi)存監(jiān)控的問題一直存在，docker將cache/buffer納入內(nèi)存計(jì)算引起誤解。docker內(nèi)存的計(jì)算方式和linux的內(nèi)存使用計(jì)算方式一致，也包含了cache/buffer。
但是cache是可重復(fù)利用的，經(jīng)常使用在I/O請求上，使用內(nèi)存來緩解可能被再次訪問的數(shù)據(jù)，為提高系統(tǒng)性能。
在官方github上，也有很多人提交了關(guān)于內(nèi)存監(jiān)控的issue，直到了Docker 17.06版本，docker stats才解決了這個(gè)問題。
但是這也僅僅是docker stats的顯示看起來正常了，而進(jìn)入容器查看內(nèi)存的使用還是包含的cache，如果直接使用cadvisor搜集的數(shù)據(jù)，還是會(huì)出現(xiàn)包含了cache的情況。
通過壓測docker，最后發(fā)現(xiàn)當(dāng)壓測到程序的限制內(nèi)存時(shí)，pod出現(xiàn)重啟，這也解釋了我們在使用docker監(jiān)控時(shí)，即使內(nèi)存占用99%+，卻不出現(xiàn)pod重啟的情況，這里面有相當(dāng)一部分的內(nèi)存是cache占用。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
標(biāo)簽：開封 拉薩 三明 石嘴山 汕頭 晉城 鄭州 玉林
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《docker 內(nèi)存監(jiān)控與壓測方式》，本文關(guān)鍵詞 docker,內(nèi)存,監(jiān)控,與,壓測,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
