Watchdog概述
在日常使用heartbeat接管資源的應用中，由于heartbeat無(wú)法對操作系統自身出現的問(wèn)題進(jìn)行監控。如果主節點(diǎn)操作系統掛起，一方面可能導致服務(wù)中斷，另一方面由于主節點(diǎn)資源無(wú)法釋放，而備份節點(diǎn)卻接管了主節點(diǎn)的資源，此時(shí)就發(fā)生了兩個(gè)節點(diǎn)同時(shí)爭用一個(gè)資源的狀況。
針對這個(gè)問(wèn)題，就需要在Linux內核中啟用一個(gè)叫watchdog的模塊。watchdog是一個(gè)Linux內核模塊，它通過(guò)定時(shí)向/dev/watchdog設備文件執行寫(xiě)操作，從而確定系統是否正常運行。如果watchdog認為內核掛起，就會(huì )重新啟動(dòng)系統，進(jìn)而釋放節點(diǎn)資源。
watchdog代碼也支持用軟件替換外部的硬件計時(shí)器，該軟件叫做 softdog，softdog維護一個(gè)內部計時(shí)器，在另一個(gè)進(jìn)程寫(xiě)入/dev/watchdog設備文件時(shí)更新，如果softdog沒(méi)有看到進(jìn)程寫(xiě)入 /dev/watchdog文件，它認為內核一定出故障了，它將啟動(dòng)一個(gè)內核恐慌，正常情況下，內核恐慌將導致系統關(guān)閉，但是你可以修改這個(gè)默認行為，將其改為默認行為為重啟系統。
當你在/etc/ha.d/ha.cf文件中啟用了watchdog選項后，Heartbeat將每隔相當于deadtime長(cháng)的時(shí)間寫(xiě)入/dev/watchdog文件（或設備），因此，出現任何導致Heartbeat更新 watchdog設備失敗的事情，一旦watchdog超時(shí)周期（默認是一分鐘）過(guò)期，watchdog將啟動(dòng)內核恐慌。
Watchdog的工作原理
Watchdog在實(shí)現上可以是硬件電路也可以是軟件定時(shí)器，能夠在系統出現故障時(shí)自動(dòng)重新啟動(dòng)系統。在Linux 內核下, watchdog的基本工作原理是：當watchdog啟動(dòng)后(即/dev/watchdog 設備被打開(kāi)后)，如果在某一設定的時(shí)間間隔內/dev/watchdog沒(méi)有被執行寫(xiě)操作, 硬件watchdog電路或軟件定時(shí)器就會(huì )重新啟動(dòng)系統。
/dev/watchdog 是一個(gè)主設備號為10， 從設備號130的字符設備節點(diǎn)。 Linux內核不僅為各種不同類(lèi)型的watchdog硬件電路提供了驅動(dòng)，還提供了一個(gè)基于定時(shí)器的純軟件watchdog驅動(dòng)。 驅動(dòng)源碼位于內核源碼樹(shù)drivers\char\watchdog\目錄下。
硬件與軟件watchdog的區別
硬件watchdog必須有硬件電路支持, 設備節點(diǎn)/dev/watchdog對應著(zhù)真實(shí)的物理設備， 不同類(lèi)型的硬件watchdog設備由相應的硬件驅動(dòng)管理。軟件watchdog由一內核模塊softdog.ko 通過(guò)定時(shí)器機制實(shí)現，/dev/watchdog并不對應著(zhù)真實(shí)的物理設備，只是為應用提供了一個(gè)與操作硬件watchdog相同的接口。
硬件watchdog比軟件watchdog有更好的可靠性。 軟件watchdog基于內核的定時(shí)器實(shí)現，當內核或中斷出現異常時(shí)，軟件watchdog將會(huì )失效。而硬件watchdog由自身的硬件電路控制, 獨立于內核。無(wú)論當前系統狀態(tài)如何，硬件watchdog在設定的時(shí)間間隔內沒(méi)有被執行寫(xiě)操作，仍會(huì )重新啟動(dòng)系統。
一些硬件watchdog卡如WDT501P 以及一些Berkshire卡還可以監測系統溫度，提供了 /dev/temperature接口。 對于應用程序而言, 操作軟件、硬件watchdog的方式基本相同：打開(kāi)設備/dev/watchdog, 在重啟時(shí)間間隔內對/dev/watchdog執行寫(xiě)操作。即軟件、硬件watchdog對應用程序而言基本是透明的。
在任一時(shí)刻， 只能有一個(gè)watchdog驅動(dòng)模塊被加載，管理/dev/watchdog 設備節點(diǎn)。如果系統沒(méi)有硬件watchdog電路，可以加載軟件watchdog驅動(dòng)softdog.ko。
測試Watchdog
只要在/etc/ha.d/ha.cf加入
watchdog /dev/watchdog
即可自動(dòng)啟用watchdog功能
可通過(guò)如下步驟確認
1、# grep misc /proc/devices
10 misc
2、# cat /proc/misc |grep watchdog
130 watchdog
3、# lsmod |grep softdog
softdog 9941 2
即可確認啟用了watchdog功能如果沒(méi)有生成/dev/watchdong設備，則可通過(guò)如下命令自行創(chuàng )建
mknod /dev/watchdog c 10 130
在主節點(diǎn)上可通過(guò)"killall -9 heartbeat"命令關(guān)閉Heartbeat進(jìn)程。由于是非法關(guān)閉Heartbeat進(jìn)程，因此Heartbeat所控制的資源并沒(méi)有釋放。備份節點(diǎn)在很短一段時(shí)間沒(méi)有收到主節點(diǎn)的響應后，就會(huì )認為主節點(diǎn)出現故障，進(jìn)而接管主節點(diǎn)資源。在這種情況下，就出現了資源爭用情況，兩個(gè)節點(diǎn)都占用一個(gè)資源，造成數據沖突。針對這個(gè)情況，可以通過(guò)Linux提供的內核監控模塊watchdog來(lái)解決這個(gè)問(wèn)題，將watchdog集成到Heartbeat中。如果Heartbeat異常終止，或者系統出現故障，watchdog都會(huì )自動(dòng)重啟系統，從而釋放集群資源，避免了數據沖突的發(fā)生。
在執行"killall -9 heartbeat"時(shí)，會(huì )在/var/log/messages中看到如下信息：
Softdog: WDT device closed unexpectedly. WDT will not stop!
系統就會(huì )馬上重啟
參考至:http://linux.chinaitlab.com/linuxjq/744842_6.html
http://book.51cto.com/art/200912/168038.htm
http://aaa3060.blog.163.com/blog/static/2817338520104314466314/
http://blog.sina.com.cn/s/blog_5fc3a8b60100x0ge.html
本文原創(chuàng )，轉載請注明出處、作者
如有錯誤，歡迎指正
郵箱:czmcj@163.com
聯(lián)系客服
