Linux oom-killer kernel: Out of Memory: Killed 問題處理 & 手動增加動態 swap

2015-02-24 CentOS

由於今天開工第一天就遇到客戶的 CentOS Server 常常死機的狀況,Linux 在正常狀況應該是可以很穩的使用

 

在查看 /var/log/message 後,發現在死機前常有 Out of Memory 的問題發生,導致 kernel killed 了一些 process

 

OOM-killer (Out of Memory-killer)

顧名思義就是記憶體不足導致系統自動 Killer 一些程序,OOM-killer 存在於 Linux 較新的核心版本(2.6),比較麻煩的是造成死機的原因通常是因為 OOM-killer 殺掉了一些必要的執行程序,因為 oom-killer 僅考慮 lowmemory,即使物理記憶體還有許多 free/cache/buffer,只要 swap 不足就開始 oom-killer。

 

/var/log/message

 

 

 

OOM-killer 在挑選 kill 的對象是有依據的,可以參考內核源碼 oom_kill.c,當 out_of_memory() 被觸發後,會由 oom_badness() 來挑選最佔用記憶體的程序,誰的得分最高就是被 kill 掉的那位幸運兒。

 

那麼要如何得知哪一個程式容易被 kill,可以嘗試下面的方法來找出最有可能被 oom-killer 殺掉的程序

這一段主要是取得 pid 23681 的 oom 分數,分數越高則優先被 oom-killer 挑選到。

 

你也可以編寫底下 script 來印出目前系統 oom_score 分數最高的前 20 名程式

 

 

 

 

 

 

如果你的機器真的沒辦法增加內存,又必須要執行這麼大的程式,可以參考以下方法

 

1. 增加動態 swap 空間

適合一開始安裝系統沒有分配好 swap 導致 swap 過小的問題,可以在安裝系統後增加動態 swap 來解決 swap 不足的窘境。

step1. 建立 swap 區,示範 4GB

 

step2. 將 /swap 設定為 swap 檔案型式

 

step3. 啟動 file mode swap

 

step4. 查看 /swap 有沒有被掛載上

 

step5. 設定開機自動掛載 file swap

若是要卸除 file swap 可以使用 swapoff /swap,記得 fstab 也要砍掉!

 

2. 有必要時停用 OOM-Killer

必須注意停用 OOM-killer 代表當 OOM 產生時無法再提供新的記憶體行為,都會被 request error。

 

 

 

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *

彙整

分類

open all | close all

License

訂閱 Mr. 沙先生 的文章

輸入你的 email 用於訂閱