{
 "byKey": {
  "cover": [
   {"say": "大家好,歡迎回到嵌入式 Linux 課。這是最後一章了。我們要學三件讓系統真正能變成產品的事:出問題時怎麼除錯、出貨之後怎麼用 O T A 安全地更新,還有怎麼最佳化開機時間和映像檔大小。最後會把整門課做一次總整理。", "item": 0}
  ],
  "除錯工具箱與開機失敗診斷#1": [
   {"say": "先從除錯開始。除錯的第一個原則,是先定位問題發生在哪一個階段。", "item": 0},
   {"say": "嵌入式問題最難的地方,就是看不到內部。而第一章學過的開機鏈,就是你的地圖。先判斷是卡在 Boot ROM、U Boot、kernel,還是使用者空間,然後再選工具。", "item": 1},
   {"say": "還有,永遠先把序列主控台接好,並且把輸出完整地記錄下來。像 picocom 就有記錄到檔案的選項。很多問題,其實看日誌就能解決。", "item": 1}
  ],
  "除錯工具箱與開機失敗診斷#2": [
   {"say": "這裡整理了一張開機失敗的症狀速查表。這一張先看可能的原因,症狀的原文在後面幾張會對照出現。", "item": 0},
   {"say": "如果畫面完全沒有輸出,可能是供電不足、序列線接錯,或者 Boot ROM 找不到 bootloader,例如 S D 卡沒有燒好。", "item": 1},
   {"say": "如果 U Boot 的提示符號有出來,但是之後沒有 kernel 的訊息,要檢查 console 參數有沒有寫錯、D T B 有沒有傳或是不符合,還有載入位址有沒有重疊。", "item": 2},
   {"say": "如果出現映像檔格式錯誤的訊息,通常是映像檔的格式,和你用的啟動指令不符。U Boot 有 boot I、boot Z、boot M 三種啟動指令,要配對正確。也可能是檔案損毀了。", "item": 3},
   {"say": "如果是 kernel panic,說沒辦法掛載根檔案系統,要檢查 root 參數是不是寫錯、是不是少了儲存控制器或檔案系統的驅動,或是少了 root wait。", "item": 4}
  ],
  "除錯工具箱與開機失敗診斷#3": [
   {"say": "繼續看另外四種症狀的原因。", "item": 0},
   {"say": "如果 kernel panic 說找不到可用的 init,代表根檔案系統裡沒有可以執行的 init、架構不符,或是缺少動態連結器或函式庫。", "item": 1},
   {"say": "如果訊息說有人試圖殺掉 init,其實是一號行程自己結束了,例如你的 init 腳本執行完就退出了。", "item": 2},
   {"say": "如果登入提示一直不出現,可能是 getty 沒有設定,或是 console 和 getty 用的序列埠不一致。", "item": 3},
   {"say": "如果系統開起來了,但是某個裝置沒有出現,要檢查裝置樹節點是不是 disabled、compatible 有沒有寫錯、驅動有沒有編進去,或者是遇到了延後探測。", "item": 4}
  ],
  "除錯工具箱與開機失敗診斷#4": [
   {"say": "現在把症狀對照一次。", "item": 0},
   {"say": "第一種,畫面完全沒有輸出。往電源、接線和 S D 卡的方向查。", "item": 1},
   {"say": "第二種,U Boot 提示符號之後沒有 kernel 訊息。往 console 和 D T B 的方向查。", "item": 2},
   {"say": "第三種,看到 Bad Linux ARM 六十四 Image magic,或是 Wrong Image Format。往映像檔格式和啟動指令的方向查。", "item": 3}
  ],
  "除錯工具箱與開機失敗診斷#5": [
   {"say": "接著是兩種 kernel panic。", "item": 0},
   {"say": "第一種寫著 Unable to mount root F S,後面是 unknown block。這是根檔案系統掛不起來,檢查 root 參數和驅動。", "item": 1},
   {"say": "第二種寫著 No working init found。這是找不到 init,檢查根檔案系統的內容和架構。", "item": 2}
  ],
  "除錯工具箱與開機失敗診斷#6": [
   {"say": "最後三種症狀。", "item": 0},
   {"say": "Attempted to kill init,代表一號行程結束了。", "item": 1},
   {"say": "登入提示不出現,檢查 getty 的設定。", "item": 2},
   {"say": "裝置沒有出現,檢查裝置樹和驅動。這張速查表很實用,建議你存起來,以後遇到問題可以對照。", "item": 3}
  ],
  "除錯工具箱與開機失敗診斷#7": [
   {"say": "除錯最常用的工具,就是 kernel 的日誌。用 D mesg 可以查看,它還有幾個實用的選項:可以持續跟隨新訊息、可以只看錯誤和警告,也可以搭配 grep 搜尋 error、fail、timeout 這些關鍵字。", "item": 0},
   {"say": "另外,讀取 proc 底下的 print K 檔,會看到四個數字,代表目前的日誌等級設定。用 D mesg 加上減號 N 和數字七,可以把主控台的等級調到最詳細。", "item": 0},
   {"say": "開機參數也可以調整。加上 log level 等於七,或是加上 debug,會顯示所有等級的訊息。加上 ignore log level,則是不管等級全部輸出。如果想看到更早期的輸出,可以加 early con,不過它需要平台支援,常常還要指定參數。", "item": 1}
  ],
  "OTA 更新:A/B 分區、回復與安全#1": [
   {"say": "接下來是 O T A 更新。為什麼說它是嵌入式的必修課呢?", "item": 0},
   {"say": "因為裝置出貨之後,一定會發現漏洞,或是需要新功能。如果每一次更新,都要派人到現場插 S D 卡,維護成本根本無法接受。O T A 就是讓裝置透過網路自己更新。", "item": 1},
   {"say": "但是更新到一半斷電,是很常發生的事。更新失敗不能讓裝置變成磚塊,一定要有辦法回復。", "item": 1}
  ],
  "OTA 更新:A/B 分區、回復與安全#2": [
   {"say": "所以設計更新機制的時候,有五個原則。", "item": 0},
   {"say": "第一是原子性。更新要嘛完整成功,要嘛完全沒有發生,不可以留下半新半舊的狀態。", "item": 1},
   {"say": "第二是可以回復。新版本如果開機失敗,要能自動回到舊版本。", "item": 2},
   {"say": "第三是可以驗證。更新包要有簽章,裝置驗證通過才安裝,避免被人塞進惡意的更新。", "item": 3},
   {"say": "第四是不中斷服務。更新在背景寫入,等到重新開機才切換。", "item": 4},
   {"say": "第五是保留資料。使用者的資料和設定,更新之後都還要在。", "item": 5}
  ],
  "OTA 更新:A/B 分區、回復與安全#3": [
   {"say": "常見的更新策略有這幾種。", "item": 0},
   {"say": "第一種是 A B 雙分區。儲存裝置上有兩份根檔案系統,叫做 slot A 和 slot B。現在跑的是 A,更新就寫到 B。寫完驗證之後,設定 bootloader 下次從 B 開機。如果 B 開機失敗,bootloader 就退回 A。", "item": 1},
   {"say": "這是最常見、最可靠的做法,代價是需要兩倍的根檔案系統空間。", "item": 1},
   {"say": "第二種是恢復分區。由一個小型的恢復系統負責寫入主系統,比較省空間,但是更新期間裝置暫時不能使用,失敗的時候也要依賴那個恢復系統。", "item": 2},
   {"say": "第三種是差分更新,只傳輸有差異的部分來節省頻寬,不過實作比較複雜。", "item": 3},
   {"say": "第四種是用容器或 O S tree,在檔案層級或映像層級做原子切換。", "item": 4},
   {"say": "至於 bootloader 本身的更新,風險是最高的,通常會另外處理,或者乾脆不更新。", "item": 5}
  ],
  "OTA 更新:A/B 分區、回復與安全#4": [
   {"say": "A B 更新要怎麼和 U Boot 配合呢?U Boot 提供了一個 boot count 機制,幾個相關的變數下一張會介紹。先看整個流程。", "item": 0},
   {"say": "第一步,更新程式把新版本寫進沒有在使用的那個 slot,把環境設定成下次使用新的 slot,並且把 upgrade available 設成一。", "item": 1},
   {"say": "第二步,重新開機。U Boot 會把開機計數加一,然後從新的 slot 開機。", "item": 2},
   {"say": "第三步,新系統啟動之後,應用程式先做自我檢查,例如服務是不是正常、網路連不連得上。確認沒問題,才清除開機計數和 upgrade available,代表這次更新確認成功。", "item": 3},
   {"say": "第四步,如果新系統一直開不了機,開機計數會累積到超過上限,這時 U Boot 就會執行替代的開機指令,切回舊的 slot。", "item": 4}
  ],
  "OTA 更新:A/B 分區、回復與安全#5": [
   {"say": "這個機制用到四個環境變數。", "item": 0},
   {"say": "boot count 是連續嘗試開機的次數,每次開機由 U Boot 加一。", "item": 1},
   {"say": "boot limit 是上限,超過這個次數就視為失敗。", "item": 2},
   {"say": "upgrade available 是一個標記,表示剛剛更新過、還在等待確認。", "item": 3},
   {"say": "alt boot C M D 是超過上限的時候,改為執行的指令,用來切換到另一個 slot。實際的變數名稱和設定方式,會因為 U Boot 版本和更新框架而不同,請以你選用框架的文件為準。", "item": 4}
  ],
  "OTA 更新:A/B 分區、回復與安全#6": [
   {"say": "實務上不用自己從頭寫,有幾個常見的 O T A 框架可以用。", "item": 0},
   {"say": "R A U C,用簽章過的 bundle 來更新,支援 A B,也能和 U Boot、GRUB 整合。", "item": 1},
   {"say": "S W Update,是彈性很大的更新代理,可以處理映像檔、腳本、差分和簽章,支援 A B 和恢復分區。", "item": 2},
   {"say": "Mender,包含雲端的管理後台和客戶端,並且和 Yocto 整合。", "item": 3},
   {"say": "O S tree,是檔案層級的版本化,常見於比較進階的系統。要選哪一個,看團隊的規模、需不需要後台管理,還有和建置系統整合的程度。", "item": 4}
  ],
  "OTA 更新:A/B 分區、回復與安全#7": [
   {"say": "我們用 R A U C 當例子,看一下它的概念。", "item": 0},
   {"say": "裝置上有一個系統設定檔,裡面有四個區段。system 區段寫明相容的板子名稱,以及 bootloader 是 U Boot。keyring 區段指定憑證的路徑。另外兩個 slot 區段,分別把記憶卡的第二和第三個分區,對應到 A 和 B。", "item": 1},
   {"say": "這份內容只是示意,細節請查你所用版本的文件。", "item": 1},
   {"say": "常用的指令有:R A U C status 查看目前的 slot 和狀態;R A U C install 把簽章過的 bundle 安裝到沒有在使用的 slot;重新開機之後,確認新系統正常,再用 status mark good 把它標記為良好。", "item": 2},
   {"say": "安全方面,bundle 是在開發端用私鑰簽章的,裝置上只放對應的 C A 憑證來驗證。私鑰一定要妥善保管,不可以放進裝置,也不可以放到公開的儲存庫。", "item": 3}
  ],
  "最佳化:開機時間與映像大小#1": [
   {"say": "第三個主題是最佳化。先講一個最重要的觀念。", "item": 0},
   {"say": "最佳化的鐵則,是先量測。憑感覺亂刪,往往刪掉了重要的功能,卻沒省下多少時間。所以要先建立基準:開機到服務可用要多久?映像檔多大?記憶體用了多少?", "item": 1},
   {"say": "開機時間可以這樣量。第一,看序列主控台上的時間戳記。Kernel 訊息開頭中括號裡的數字,是從 kernel 啟動開始算的秒數。找到執行 init 的那一行,就知道 kernel 階段花了多久。", "item": 2},
   {"say": "第二,在 kernel 命令列加上 init call debug。這樣 D mesg 就會列出每一個初始化函式花了多少時間,可以找出比較慢的驅動。", "item": 3},
   {"say": "第三,如果用的是 system D,它有內建的分析工具。", "item": 4},
   {"say": "第四是 bootloader 階段。U Boot 的 boot delay,也就是倒數的秒數,可以設成零或一。出貨的時候,再改用需要按特定按鍵組合才能進入的安全機制來取代。", "item": 5}
  ],
  "最佳化:開機時間與映像大小#2": [
   {"say": "來看量測用的指令。", "item": 0},
   {"say": "第一行把 D mesg 的輸出篩選出 init call 的部分,依照耗時由大到小排序,再只看最前面幾筆。輸出的格式會隨 kernel 版本不同,可以先看一下格式再調整。", "item": 1},
   {"say": "system D analyze 不加參數,會顯示總開機時間,並且分成 kernel 和使用者空間兩段。", "item": 2},
   {"say": "後面加上 blame,會列出各個服務的耗時排行。", "item": 3}
  ],
  "最佳化:開機時間與映像大小#3": [
   {"say": "還有一個用法。", "item": 0},
   {"say": "加上 critical chain,會顯示開機的關鍵路徑,也就是真正決定開機時間的那一串服務。", "item": 1}
  ],
  "最佳化:開機時間與映像大小#4": [
   {"say": "量測完了,就可以動手縮短開機時間。我們分成 bootloader、kernel、使用者空間三個部分來看。", "item": 0},
   {"say": "Bootloader 方面,降低 boot delay,並且關掉不必要的初始化,例如網路和 U S B 掃描。", "item": 1},
   {"say": "另外,用比較快的儲存裝置,載入 kernel 的時候,避免從慢速的媒介讀取大檔案。", "item": 2},
   {"say": "Kernel 方面,先精簡設定,把用不到的驅動、檔案系統和除錯選項拿掉。", "item": 3},
   {"say": "然後在開機參數加上 quiet,減少主控台的輸出量。因為序列埠用十一萬五千兩百的鮑率印訊息,本身就很花時間。也可以把 log level 設成三,只顯示錯誤。", "item": 4}
  ],
  "最佳化:開機時間與映像大小#5": [
   {"say": "我們繼續看其他的方向。", "item": 0},
   {"say": "把必要的驅動直接編進 kernel,不必要的改成模組,之後再載入。不過有時候反過來做比較快,要看實際測量的結果。", "item": 1},
   {"say": "還有 kernel 的壓縮格式。L Z 四或 L Z O 解壓縮比 X Z 快,但是映像檔比較大。X Z 比較小,可是解壓縮慢。怎麼取捨,一樣要實測。", "item": 2},
   {"say": "使用者空間方面,先精簡 init。服務不多的話,BusyBox init 會比 system D 啟動得快。如果用 system D,就把用不到的 unit 關掉,並且讓服務平行啟動。", "item": 3},
   {"say": "再來,把不是馬上需要的服務延後啟動。", "item": 4}
  ],
  "最佳化:開機時間與映像大小#6": [
   {"say": "最後兩個方向。", "item": 0},
   {"say": "避免在開機的時候做檔案系統檢查,或是執行複雜的腳本。如果根檔案系統是唯讀的,例如 squash F S,就可以免去檢查。", "item": 1},
   {"say": "應用程式本身也可以加速,例如減少動態函式庫的數量,或是把初始化的工作延後。", "item": 2}
  ],
  "最佳化:開機時間與映像大小#7": [
   {"say": "除了開機時間,映像檔的大小也可以最佳化。", "item": 0},
   {"say": "第一,用 BusyBox 取代完整的 core utils,並且選擇比較小的 C 函式庫,例如 musl 或 U C lib C N G,不過要先評估相容性。", "item": 1},
   {"say": "第二,把除錯符號去掉,也就是做 strip。Buildroot 預設就會幫目標檔案做這件事,安裝核心模組的時候,也有對應的選項可以用。", "item": 2},
   {"say": "第三是 kernel。開啟以大小為優先的最佳化選項,關掉用不到的子系統和除錯選項,把比較大、但很少用的功能做成模組。", "item": 3},
   {"say": "第四是檔案系統。Squash F S 搭配 X Z 壓縮,可以大幅縮小體積,代價是讀取的時候要解壓縮,會多花一些 C P U 和記憶體。另外,文件、本地化檔案和開發用的標頭檔,目標映像檔都不需要,可以刪掉,並且只安裝必要的套件。", "item": 4}
  ],
  "課程總整理與下一步#1": [
   {"say": "好,課程的內容到這裡全部講完了。我們回頭看看,你完成了什麼。這門課帶你從 Linux 在板子上怎麼動起來,一路走到可以更新、可以除錯的產品化系統。", "item": 0},
   {"say": "第一章,全貌和開機流程。從 Boot ROM、S P L、U Boot、kernel 到 init,還有系統的四大元件。", "item": 1},
   {"say": "第二章,開發環境。交叉編譯、工具鏈的命名、QEMU 模擬,還有序列主控台。", "item": 2},
   {"say": "第三章,bootloader 和裝置樹。U Boot 的環境變數和啟動指令,裝置樹和 overlay 的語法。", "item": 3},
   {"say": "第四章,kernel。Kconfig 設定、編譯的產物、核心模組,還有驅動和裝置樹的配對。", "item": 4},
   {"say": "第五章,根檔案系統。BusyBox、init ram F S,還有 Buildroot 的建置、overlay 和自訂套件。", "item": 5}
  ],
  "課程總整理與下一步#2": [
   {"say": "後面三章。", "item": 0},
   {"say": "第六章,硬體介面。用 lib G P I O D 取代已經棄用的 sys F S G P I O,還有 L E D 子系統、I 平方 C、S P I 和 U A R T。", "item": 1},
   {"say": "第七章,Yocto。BitBake、layer、recipe、兩個設定檔、init 的選擇,以及映像檔和燒錄。", "item": 2},
   {"say": "第八章,也就是這一章,除錯、O T A 和最佳化。包括各種除錯工具、A B 更新,還有開機時間和映像大小。", "item": 3}
  ],
  "課程總整理與下一步#3": [
   {"say": "如果整門課只能記住一件事,請記住這張核心心智圖。出問題的時候,問自己四個問題。", "item": 0},
   {"say": "這四個問題,適用在幾乎所有的嵌入式除錯情境。", "item": 1},
   {"say": "第一個問題:卡在哪一個階段?是 Boot ROM、U Boot、kernel、init,還是應用程式?", "item": 2},
   {"say": "第二個問題:這個階段的輸入是什麼?是映像檔、D T B、開機參數,還是根檔案系統的內容?", "item": 3, "pause": 2}
  ],
  "課程總整理與下一步#4": [
   {"say": "還有兩個問題。", "item": 0},
   {"say": "第三個問題:它的輸出要去哪裡看?是序列埠、D mesg、日誌,還是 G D B?", "item": 1},
   {"say": "第四個問題:我昨天改了什麼?所以要養成一次只改一件事的習慣,出問題的時候才好追。", "item": 2, "pause": 2}
  ],
  "課程總整理與下一步#5": [
   {"say": "學完之後,最好的複習方式就是動手做。這裡建議四個練習專案。", "item": 0},
   {"say": "專案 A,在 QEMU 上用 Buildroot 做出自己的最小系統,加入一支自己寫的 C 程式,用 BusyBox init 的 respawn 來管理,並且用 G D B server 除錯。", "item": 1},
   {"say": "專案 B,在 Raspberry Pi 上,用 lib G P I O D 和 I 平方 C 感測器,做一個溫度監控服務。資料寫進 T M P F S 上的日誌,由 system D 管理。", "item": 2},
   {"say": "專案 C,用 Yocto 建立自己的 layer 和 image recipe,加入 R A U C 做 A B 更新,並且實際測試斷電之後能不能回復。", "item": 3},
   {"say": "專案 D,替一塊虛構的板子寫裝置樹,再用 QEMU 或 G P I O sim,驗證 G P I O L E D S 和 L E D 的觸發器。", "item": 4}
  ],
  "課程總整理與下一步#6": [
   {"say": "如果想繼續深入,這裡有幾條學習路線可以參考。", "item": 0},
   {"say": "第一,更深入 kernel。學習撰寫完整的字元裝置驅動、中斷處理、D M A 等等,多讀 kernel 的 Documentation 目錄,還有 Linux Device Drivers 這類資料。", "item": 1},
   {"say": "第二,bootloader 和安全。包括 U Boot 的 FIT image 和簽章、Secure Boot、ARM Trusted Firmware,還有可信執行環境。", "item": 2},
   {"say": "第三,即時和效能。像是 PREEMPT R T、cyclic test、perf,還有 e B P F。", "item": 3},
   {"say": "第四,連網和系統整合。例如網路管理服務、M Q T T,還有容器在嵌入式上的取捨。", "item": 4},
   {"say": "第五,量產和維運。包括持續整合的自動建置、建置快取的鏡像、遠端日誌、大量裝置的管理,還有授權合規。", "item": 5}
  ],
  "課程總整理與下一步#7": [
   {"say": "最後一條路線。", "item": 0},
   {"say": "第六,認識其他的架構。像是 RISC five 的開發板,還有 Zephyr 這個給微控制器用的即時作業系統,可以和嵌入式 Linux 互相搭配。", "item": 1}
  ],
  "closing": [
   {"say": "這一章,也是整門課的內容,就到這裡了。恭喜你一路從上電開機,走到除錯、更新和最佳化,這真的很不容易。", "item": 0},
   {"say": "最後,請動手做本章的練習,再完成章末小測驗,檢查自己學會了多少。謝謝你的參與,我們下次見!", "item": 1, "pause": 1}
  ]
 }
}
