{
 "byKey": {
  "cover": [
   {"say": "大家好,歡迎回到 Kubernetes 入門到實戰,這是我們的最後一章。這一章是故障排除實戰,我們會學一套固定的診斷流程,認識最常見的故障症狀,練習排查網路問題,最後再把整門課做一次總整理。", "item": 0}
  ],
  "診斷流程:describe、logs 與 events#1": [
   {"say": "開始之前,先談談排錯的心態,由外而內,依照證據前進。", "item": 0},
   {"say": "Kubernetes 出問題的時候,新手最常見的反應是重啟看看,或是刪掉重建。這樣有時候可以暫時解決,可是你不知道它為什麼壞,下次還是會再壞。", "item": 1},
   {"say": "有效的排錯是一套固定的流程。先看狀態,再讀事件,再看日誌,最後才下結論。其實 Kubernetes 已經把大多數的線索,寫在 Events 裡面了,你只需要知道去哪裡讀。", "item": 1}
  ],
  "診斷流程:describe、logs 與 events#2": [
   {"say": "這套流程一共五步,我們先看整體,指令在後面幾頁。", "item": 0},
   {"say": "第一步,看全貌,找出有什麼東西不正常。重點是看狀態、就緒數、重啟次數,還有 Pod 在哪個節點上。", "item": 1},
   {"say": "第二步,讀事件,了解 Kubernetes 為什麼這樣做。describe 輸出最底下的 Events 區塊最重要,排程失敗、拉映像失敗、探針失敗、被殺掉的原因,幾乎都在那裡。要注意,事件預設只保留大約一個小時,問題發生之後要盡快查看。", "item": 2},
   {"say": "第三步,看日誌,聽聽應用自己說了什麼。", "item": 3},
   {"say": "看日誌的時候,有一個參數幾乎必用,就是兩個減號 previous。它可以取得上一個已經崩潰的容器的日誌。遇到 Crash Loop Back Off 的時候特別需要,因為目前這一個容器可能才剛啟動,還沒有任何輸出。", "item": 4},
   {"say": "第四步,進去看,從容器的內部驗證你的假設。", "item": 5}
  ],
  "診斷流程:describe、logs 與 events#3": [
   {"say": "還有最後一步。", "item": 0},
   {"say": "第五步,驗證修復。改完之後,用 rollout status,或是 get pods 加上減號 W 持續觀察,並且確認根本原因真的解除了,而不是症狀暫時消失而已。", "item": 1}
  ],
  "診斷流程:describe、logs 與 events#4": [
   {"say": "我們來看每一步的指令。", "item": 0},
   {"say": "看全貌,先用 get pods 加上減號 O wide,多看到節點和 I P。", "item": 1},
   {"say": "也可以一次查好幾種資源,像是 Deployment、ReplicaSet、Service 和 Ingress。", "item": 2},
   {"say": "還有一個小技巧,列出所有 Namespace 的 Pod,再用管線符號接 grep 減號 V Running,把正常的濾掉,剩下的就是有狀況的。", "item": 3},
   {"say": "第二步讀事件,用 describe pod,後面接 Pod 的名稱。", "item": 4}
  ],
  "診斷流程:describe、logs 與 events#5": [
   {"say": "事件也可以單獨查詢。", "item": 0},
   {"say": "用 get events,加上 sort by 參數,依照建立時間排序,最新的事件會在最下面。", "item": 1},
   {"say": "或是用 field selector 參數,只看類型是 Warning 的事件。", "item": 2},
   {"say": "第三步看日誌,最基本的就是 kube control logs,後面接 Pod 的名稱。", "item": 3}
  ],
  "診斷流程:describe、logs 與 events#6": [
   {"say": "logs 還有幾個常用的參數。", "item": 0},
   {"say": "Pod 裡有好幾個容器的時候,用減號 C 指定要看哪一個容器。", "item": 1},
   {"say": "加上兩個減號 previous,看上一個崩潰的容器留下的日誌。", "item": 2},
   {"say": "用減號 L 依照標籤,一次看好幾個 Pod 的日誌,再用 tail 參數只取最後五十行,並且包含所有容器。", "item": 3},
   {"say": "加上減號 F,則是持續追蹤最新的輸出。", "item": 4}
  ],
  "診斷流程:describe、logs 與 events#7": [
   {"say": "第四步,進到容器裡面看。", "item": 0},
   {"say": "用 kube control exec,加上減號 I T,在容器裡開一個 shell。", "item": 1},
   {"say": "不過很多精簡的映像,裡面沒有 shell,也沒有工具。這時候可以用 kube control debug,附加一個臨時的除錯容器到 Pod 上,這是排查 distroless 映像的好方法。它需要叢集的版本支援,使用之前請先確認。", "item": 2}
  ],
  "常見故障症狀解析#1": [
   {"say": "第二個單元,我們來看最常見的幾種故障症狀。第一個是 Image Pull Back Off,還有 Err Image Pull。", "item": 0},
   {"say": "它的意思是 kubelet 拉不到映像,而且正在用指數退避的方式重試。第一次失敗顯示的是 Err Image Pull,之後就會變成 Image Pull Back Off。線索一樣在 Events 裡。", "item": 0},
   {"say": "如果看到 not found 或 manifest unknown,就是映像的名稱或標籤打錯了,或是那個標籤不存在。", "item": 1},
   {"say": "如果看到 pull access denied,表示倉庫不存在,或者它是私有倉庫,而你沒有提供憑證。", "item": 2},
   {"say": "如果看到 too many requests,是碰到公開倉庫的拉取次數限制,可以改用自己的倉庫或鏡像站,或是登入之後再拉。", "item": 3},
   {"say": "如果看到逾時,或是名稱解析失敗,就是節點到倉庫之間的網路或 D N S 有問題。", "item": 4}
  ],
  "常見故障症狀解析#2": [
   {"say": "處理的時候,用這兩個指令。", "item": 0},
   {"say": "先用 describe pod,看完整的映像名稱和錯誤訊息。", "item": 1},
   {"say": "或是用 J S O N path,直接把 Pod 裡每個容器的映像名稱印出來,檢查有沒有打錯。", "item": 2},
   {"say": "補充幾點。私有倉庫要建立 Docker registry 類型的 Secret,並且在 Pod 設定 image Pull Secrets。不要用 latest 標籤,避免拉到預期之外的版本。", "item": 2},
   {"say": "在本機的 kind 叢集,要用自己建置的映像,需要先用 kind load 把映像載入節點。", "item": 2}
  ],
  "常見故障症狀解析#3": [
   {"say": "第二個症狀是 Crash Loop Back Off。它的意思是容器反覆啟動之後又結束,kubelet 用越來越長的間隔重啟它,最多大約五分鐘。請記得,它不是原因,而是結果。常見的根本原因有這幾種。", "item": 0},
   {"say": "第一,應用程式本身啟動失敗,像是缺少設定、連不上資料庫、參數錯誤。用 logs 加上 previous,就會看到錯誤訊息。", "item": 1},
   {"say": "第二,command 或 args 寫錯了。結束碼會是一二七或一二六,或者馬上以零結束,例如指令跑完就沒事了。", "item": 2},
   {"say": "第三,缺少必要的環境變數,或是 Secret、ConfigMap 沒有掛載。", "item": 3},
   {"say": "第四,O O M Killed。Last State 的原因會寫 O O M Killed,結束碼一三七。這時要調整 limits,或是修正應用。", "item": 4},
   {"say": "第五,存活探針設得太嚴格,或是路徑寫錯。Events 裡會有 Liveness probe failed 和 Killing。", "item": 5}
  ],
  "常見故障症狀解析#4": [
   {"say": "還有第六種原因。", "item": 0},
   {"say": "就是權限問題。例如用非 root 身分執行的容器,沒辦法寫入某個目錄,或是想監聽一零二四以下的埠。", "item": 1},
   {"say": "另外有一個常被誤解的情況。容器的主行程必須一直在前景執行。如果 command 只是把程式丟到背景就結束,容器會被當成已經完成而結束,結果就是不斷地重啟。", "item": 1}
  ],
  "常見故障症狀解析#5": [
   {"say": "處理 Crash Loop Back Off,用這三個指令。", "item": 0},
   {"say": "第一個,logs 加上 previous,看崩潰之前的日誌。", "item": 1},
   {"say": "第二個,describe pod,看 Last State、結束碼,還有 Events。", "item": 2},
   {"say": "第三個,用 J S O N path 直接取出容器狀態裡的 last State,看得更清楚。", "item": 3}
  ],
  "常見故障症狀解析#6": [
   {"say": "第三個症狀是 Pending。意思是 Pod 已經被接受了,可是還沒有在任何節點上執行。一樣先看 Events。", "item": 0},
   {"say": "看到 Failed Scheduling,後面寫 Insufficient C P U 或 memory,表示 requests 超過了節點可以分配的量。可以調低 requests,或是增加節點。", "item": 1},
   {"say": "看到 untolerated taint,表示節點有汙點,而 Pod 缺少對應的容忍。", "item": 2},
   {"say": "看到不符合 node selector 或 affinity,就是依照你寫的條件,找不到可以放的節點。", "item": 3},
   {"say": "看到 P V C 還沒有綁定的訊息,就去 describe 那張 P V C,並且確認 StorageClass 存不存在。", "item": 4},
   {"say": "還有一種是 Resource Quota 超額。它會在建立的時候就被拒絕,顯示 Forbidden,也可能出現在 ReplicaSet 的事件裡,寫著 Failed Create。", "item": 5},
   {"say": "如果 Events 是空的,可能是排程器本身有問題,請檢查 kube system 裡的 kube scheduler。", "item": 5}
  ],
  "常見故障症狀解析#7": [
   {"say": "第四個症狀,是卡在 Container Creating。通常是節點正在拉映像,或是掛載儲存卷出了問題。", "item": 0},
   {"say": "如果看到 Mount Volume 失敗,後面說某個 ConfigMap 或 Secret not found,就是引用的資源不存在,或是放在別的 Namespace。", "item": 1},
   {"say": "如果看到 Multi Attach error,表示那顆 R W O 的磁碟,還掛在另一個節點上。", "item": 2},
   {"say": "如果看到建立容器網路失敗的訊息,那就是 C N I 網路外掛的問題。", "item": 3}
  ],
  "網路與服務故障排查#1": [
   {"say": "第三個單元,是最讓人困惑的情況。Pod 全部都是 Running,可是服務就是連不到。", "item": 0},
   {"say": "用 get pods 看,一切正常,使用者卻打不開網站。這時候要沿著流量的路徑,一層一層驗證。", "item": 1},
   {"say": "建議由後往前檢查,通常比較有效率。因為你可以先確認應用本身正不正常,再往外一層一層擴大。", "item": 2},
   {"say": "流量的路徑是這樣的。使用者先經過 D N S,到 Ingress、Load Balancer 或 Node Port,再到 Service,再到 Pod,最後才是容器裡的應用。", "item": 3}
  ],
  "網路與服務故障排查#2": [
   {"say": "我們照著這條路徑,整理成一份逐層檢查的清單。", "item": 0},
   {"say": "第一,檢查應用本身。用 port forward 直接連到 Pod,繞過 Service。如果這裡就不通,問題在 Pod 或應用,要檢查容器監聽的埠、日誌裡的錯誤,還有應用是不是只綁定本機位址,它必須監聽所有位址,外面才連得到。", "item": 1},
   {"say": "第二,檢查 Service 和 Endpoints,看 Selector 和 Endpoints 有沒有值。Endpoints 是空的,原因通常是 selector 和 Pod 的標籤不符合、Pod 還沒就緒,或是 Pod 和 Service 不在同一個 Namespace。", "item": 2},
   {"say": "第三,檢查 Service 的埠對應。target Port 必須是容器實際監聽的埠。", "item": 3},
   {"say": "第四,從叢集裡面測試 Service。如果用 I P 連得到,用名稱卻不行,那就是 D N S 的問題。", "item": 4},
   {"say": "第五,檢查 D N S。Core D N S 的 Pod 必須是 Running。另外,跨 Namespace 連線的時候,名稱要寫成服務名稱,加一個點,再加 Namespace 名稱。", "item": 5}
  ],
  "網路與服務故障排查#3": [
   {"say": "清單還有後面三項。", "item": 0},
   {"say": "第六,檢查 Network Policy,看看是不是有策略把來源擋住了。", "item": 1},
   {"say": "第七,檢查 Ingress。用 describe ingress,確認 ingress Class Name、host、path,還有後端 Service 的名稱和埠。controller 的日誌會顯示請求被轉送到哪裡,以及五零二、五零三錯誤的原因。", "item": 2},
   {"say": "第八,檢查外部。Load Balancer 的外部 I P 配置好了嗎?雲端的防火牆或安全群組有沒有放行?D N S 紀錄是不是指到正確的位址?", "item": 3}
  ],
  "網路與服務故障排查#4": [
   {"say": "來看對應的指令。", "item": 0},
   {"say": "第一項,用 port forward 把本機的八零八零號埠,直接轉到 Pod 的八零八零號埠。", "item": 1},
   {"say": "再用 curl 加上減號 I,連本機的八零八零號埠,看回應的狀態和標頭。", "item": 2},
   {"say": "第二項,用 get S V C 查看 Service。", "item": 3},
   {"say": "再用 describe S V C,看它的 Selector 和 Endpoints。", "item": 4}
  ],
  "網路與服務故障排查#5": [
   {"say": "我們接著往下看。", "item": 0},
   {"say": "也可以查 Endpoint Slice,確認後端到底有哪些 Pod 的位址。", "item": 1},
   {"say": "第三項是埠對應。這個例子,Service 的 port 是八十。", "item": 2},
   {"say": "target Port 是八零八零。Pod 的 container Port 只是文件性質的宣告,不一定正確,比較準的做法,是進到容器裡確認,或是查看日誌。", "item": 3}
  ],
  "網路與服務故障排查#6": [
   {"say": "第四項,從叢集裡面測試。", "item": 0},
   {"say": "開一個臨時的 busybox Pod,用 W get 連 web 這個 Service 的八十號埠,並且設定三秒逾時。", "item": 1},
   {"say": "另一個是用 N S lookup 查 web 這個名稱,確認 D N S 能不能解析。兩個指令都加了 R M 參數,測完之後 Pod 會自動刪除。", "item": 2}
  ],
  "網路與服務故障排查#7": [
   {"say": "再來是 D N S 和 Network Policy。", "item": 0},
   {"say": "到 kube system 這個 Namespace,用標籤找出 Core D N S 的 Pod,看它們是不是 Running。", "item": 1},
   {"say": "也可以用 logs,看 Core D N S 的日誌裡有沒有錯誤。", "item": 2},
   {"say": "最後,用 get networkpolicy 加上減號大寫 A,列出所有 Namespace 的網路策略,看有沒有哪一條擋住了流量。", "item": 3}
  ],
  "課程總整理與下一步#1": [
   {"say": "好,最後一個單元,我們來回顧一下你走過的路。", "item": 0},
   {"say": "從一開始的容器很好用,但是一台機器不夠,到現在,你已經完成了一條完整的學習路徑。我們一章一章來回想。", "item": 1}
  ],
  "課程總整理與下一步#2": [
   {"say": "先看前三章。", "item": 0},
   {"say": "第一章,架構和 kube control。你認識了控制平面、節點,還有 kube config 和 context。", "item": 1},
   {"say": "第二章,Pod、標籤和 YAML。你學會宣告式管理,還有 apply、diff 和 dry run。", "item": 2},
   {"say": "第三章,Deployment。你學會管理副本、擴縮、滾動更新和回滾。", "item": 3}
  ],
  "課程總整理與下一步#3": [
   {"say": "再來是中間三章。", "item": 0},
   {"say": "第四章,Service 和 Ingress。包含穩定的入口、服務發現,還有 H T T P 路由。", "item": 1},
   {"say": "第五章,ConfigMap 和 Secret。管理設定和機密,而且你記得,base 六十四不是加密。", "item": 2},
   {"say": "第六章,儲存。包含 P V、P V C、StorageClass 和 StatefulSet。", "item": 3}
  ],
  "課程總整理與下一步#4": [
   {"say": "最後三章。", "item": 0},
   {"say": "第七章,資源、探針和調度。有 requests 和 limits、Q o S、探針、親和性,還有汙點。", "item": 1},
   {"say": "第八章,Namespace、R B A C 和 Helm。也就是隔離、最小權限,還有套件管理。", "item": 2},
   {"say": "第九章,就是今天的故障排除。記住診斷的順序,get、describe、logs,再到 exec。", "item": 3}
  ],
  "課程總整理與下一步#5": [
   {"say": "接下來,老師把整門課的安全和可靠性重點,濃縮成一份上線前的檢查清單,每次部署之前都可以拿出來核對。", "item": 0},
   {"say": "映像。使用具體的版本標籤或 digest,不要用 latest,而且要來自可信任的倉庫。", "item": 1},
   {"say": "安全。用非 root 身分執行,不允許提升權限,移除所有的 capabilities,也不使用特權模式。", "item": 2},
   {"say": "資源。每個容器都要設定 requests,記憶體的 limits 要合理,Namespace 要有 Resource Quota 和 Limit Range。", "item": 3},
   {"say": "探針。就緒探針一定要設。存活探針要輕量、保守。啟動慢的應用,要用啟動探針。", "item": 4}
  ],
  "課程總整理與下一步#6": [
   {"say": "清單的第二部分。", "item": 0},
   {"say": "可用性。至少兩個副本,分散在不同的節點上,可以用反親和性或 topology Spread Constraints,再加上 Pod Disruption Budget。", "item": 1},
   {"say": "設定。設定放在 ConfigMap,機密不進版本控制,優先用檔案掛載,並且啟用 E T C D 的靜態加密,或是外部的機密管理。", "item": 2},
   {"say": "權限。使用專屬的 Service Account,R B A C 只給最小的權限,不要給 cluster admin。不需要呼叫 A P I 的 Pod,就把 token 的掛載關掉。", "item": 3}
  ],
  "課程總整理與下一步#7": [
   {"say": "清單的最後一部分。", "item": 0},
   {"say": "網路。內部服務用 Cluster I P,用 Network Policy 限縮連線,只暴露必要的入口,並且使用 T L S。", "item": 1},
   {"say": "資料。重要的資料要有獨立的備份,而且實際演練過還原,也要知道回收策略是什麼。", "item": 2},
   {"say": "變更。YAML 放在 Git 裡,並且經過審查。部署之後用 rollout status 驗證,也要知道怎麼回滾。", "item": 3}
  ],
  "closing": [
   {"say": "恭喜你,完成了 Kubernetes 入門到實戰的全部九章。從認識架構、部署應用、開放連線、管理設定和儲存,到權限控管和故障排除,你已經具備在叢集上部署和維運服務的基礎了。", "item": 0},
   {"say": "請記得完成這一章的實作練習和章末小測驗。後面還有期末總複習,可以幫你把整門課的重點再走一遍。謝謝大家一路的參與,我們期末總複習見!", "item": 1, "pause": 1}
  ]
 }
}
