{
 "byKey": {
  "cover": [
   { "say": "大家好,歡迎回到從無到有打造 A I 機器人。這一章是邊緣 A I。我們會用 E S P 三十二 CAM 做顏色追蹤,也會認識 TinyML 的概念,以及在這麼小的裝置上,有哪些資源限制。", "item": 0 }
  ],
  "原理:影像、顏色閾值與質心#1": [
   { "say": "我們先從原理開始,影像、顏色閾值和質心。", "item": 0 },
   { "say": "在一堆彩色球裡找紅球,你的眼睛其實做了兩件事:先挑出夠紅的區域,再看它在視野的左邊還是右邊。電腦做的事一模一樣,只是用數字。", "item": 1 }
  ],
  "原理:影像、顏色閾值與質心#2": [
   { "say": "這張圖是 RGB 五六五的像素格式。", "item": 0 },
   { "say": "十六位元分成五位紅、六位綠、五位藍。圖上用十六進位的 F 八零零當例子,解碼之後,是近似純紅的顏色。", "item": 1 }
  ],
  "原理:影像、顏色閾值與質心#3": [
   { "say": "影像其實是一張數字表格。", "item": 0 },
   { "say": "一張影像是由像素排成的格子,每個像素用幾個數字表示顏色。RGB 五六五把紅五位、綠六位、藍五位,塞進十六位元,也就是兩個位元組,比二十四位元的 RGB 省了一半以上的空間,代價是色階變少。", "item": 1 },
   { "say": "舉例來說,十六進位的 F 八零零,二進位是一一一一一,後面全部是零。紅的部分是三十一,左移三位得到二百四十八,綠和藍都是零,所以是近似純紅。", "item": 1 }
  ],
  "原理:影像、顏色閾值與質心#4": [
   { "say": "再來是顏色閾值和二值化。", "item": 0 },
   { "say": "對每個像素,檢查是不是夠紅。例如紅色大於一百五十,而且綠色和藍色都小於九十,符合就記一,不符合就記零,得到一張黑白的遮罩。這就是閾值。", "item": 1 },
   { "say": "RGB 受光線影響很強。同一顆紅球在陰影下,紅色可能只有八十,就被漏掉。HSV 把色相和亮度分開,對光線比較不敏感,但是需要多一些運算。", "item": 1 }
  ],
  "原理:影像、顏色閾值與質心#5": [
   { "say": "這張圖展示了整個過程。", "item": 0 },
   { "say": "紅球的影像,經過閾值,變成二值遮罩。符合條件的像素座標取平均,就是質心,圖上也顯示了計算的數值。", "item": 1 }
  ],
  "原理:影像、顏色閾值與質心#6": [
   { "say": "接著看質心與面積。", "item": 0 },
   { "say": "符合像素的 x 座標平均,就是質心 x,符合的個數,就是面積。圖中九個符合像素的 x 座標,從零算起,分別是二、三、一、二、三、四、一、二、三,加起來是二十一,平均大約是二點三。", "item": 1 },
   { "say": "實作的時候,要把它換算成誤差:質心 x 減畫面寬度的一半,再除以畫面寬度的一半。", "item": 2 }
  ],
  "原理:影像、顏色閾值與質心#7": [
   { "say": "我們來算一個數值例題。", "item": 0 },
   { "say": "畫面寬三百二十,質心 x 是二百四十,所以誤差等於二百四十減一百六十,再除以一百六十,等於零點五。", "item": 1 },
   { "say": "如果水平視野大約六十度,這是假設值,依鏡頭而異,用小角度近似,目標大約在中心右側零點五乘三十度,也就是十五度的方向,需要右轉。", "item": 1 },
   { "say": "幀率每秒十張的時候,每一幀間隔一百毫秒,小車以每秒二十公分前進,每一幀走兩公分。影像處理的延遲,就是這樣影響追蹤的。", "item": 1 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#1": [
   { "say": "好,接下來是邊緣 A I 與 E S P 三十二 CAM 的資源限制。什麼是邊緣 A I?", "item": 0 },
   { "say": "邊緣 A I,是在機器人本機,也就是邊緣,處理感測資料並做出判斷,而不是把所有資料送到雲端。", "item": 1 },
   { "say": "優點是反應快,沒有網路來回;斷網也能運作;還能保護隱私,影像不離開裝置。缺點是裝置的記憶體和算力都很有限。理解限制,比追求花俏的功能更重要。", "item": 1 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#2": [
   { "say": "先認識 E S P 三十二 CAM 這一類模組。", "item": 0 },
   { "say": "這類模組把 E S P 三十二,加上一顆小型相機感測器,常見是 OV2640,依型號而異,再加上 microSD 插槽,還有常見的外部 PSRAM,做在同一片板子上。價格低,但是腳位幾乎被相機占用,可用的 G P I O 很少。", "item": 1 },
   { "say": "它通常沒有內建 U S B 燒錄,需要外接 U S B 轉序列的燒錄器,依型號而異。請照你買到的模組資料表使用,相機腳位的定義要與模組一致,不能亂改。", "item": 1 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#3": [
   { "say": "我們來做記憶體算數,一張影像有多大。", "item": 0 },
   { "say": "常見的低解析度 QVGA,是三百二十乘兩百四十,等於七萬六千八百個像素。灰階一個位元組一個像素,大約七十五 K B;RGB 五六五兩個位元組一個像素,大約一百五十 K B;VGA 六百四十乘四百八十,RGB 五六五,大約六百 K B。", "item": 1 },
   { "say": "E S P 三十二內部的 S R A M,大約數百 K B,依型號而異,而且還要給 Wi Fi、堆疊和程式用。", "item": 2 },
   { "say": "所以影像緩衝區通常放在 PSRAM。有的模組才有,容量依型號而異,常見是數 M B。影像越大,記憶體越吃緊、處理越慢、Wi Fi 傳輸也越卡。", "item": 2 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#4": [
   { "say": "這是剛剛的數字整理。", "item": 0 },
   { "say": "灰階,一個位元組一個像素,七萬六千八百位元組,大約七十五 K B。", "item": 1 },
   { "say": "RGB 五六五,兩個位元組一個像素,十五萬三千六百位元組,大約一百五十 K B。", "item": 2 },
   { "say": "VGA 六百四十乘四百八十,RGB 五六五,六十一萬四千四百位元組,大約六百 K B。你可以看到,解析度提高,記憶體需求就快速膨脹。", "item": 3 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#5": [
   { "say": "這張圖是顏色追蹤的流程。", "item": 0 },
   { "say": "從擷取低解析度影像開始,轉換色彩,用門檻二值化,找出區域並計算質心與面積,最後轉換成馬達指令。", "item": 1 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#6": [
   { "say": "面對這些限制,有四個取捨原則。", "item": 0 },
   { "say": "第一,降低解析度。追蹤色塊,用 QVGA,甚至更低,就夠了。", "item": 1 },
   { "say": "第二,降低幀率。小車每秒處理五到十幀,常常就夠用,把運算時間留給控制迴路。", "item": 2 },
   { "say": "第三,只做必要的處理,例如只掃描每隔一個像素。", "item": 3 },
   { "say": "第四,用 millis 或 micros,實測每一幀的處理時間,不要用猜的。", "item": 4 }
  ],
  "邊緣 AI 與 ESP32-CAM 的資源限制#7": [
   { "say": "最後是 Arduino E S P 三十二的相機驅動。", "item": 0 },
   { "say": "核心搭配的 esp32 camera 驅動,提供初始化和取幀的函式,例如 camera init、取得幀緩衝、歸還幀緩衝。", "item": 1 },
   { "say": "取得的幀緩衝,用完要歸還,否則記憶體耗盡,畫面就卡死。像素格式、時脈等設定項,依驅動和核心版本而異,請以你安裝版本的官方範例為準。", "item": 1 }
  ],
  "顏色追蹤:門檻值、質心與轉向#1": [
   { "say": "好,接下來是顏色追蹤的門檻值、質心與轉向。先看整個流程和像素判斷。", "item": 0 },
   { "say": "顏色追蹤的步驟是:取得影像,判斷每個像素是不是夠紅,或是指定的顏色,把符合的像素收集起來,算出它們的位置中心和數量,最後轉換成轉向與速度指令。", "item": 1 },
   { "say": "RGB 五六五,一個像素是十六位元:五位元紅、六位元綠、五位元藍。", "item": 2 },
   { "say": "位元組順序依相機設定與驅動而異。如果顏色不對,先檢查是不是高低位元組互換了。", "item": 3 },
   { "say": "紅色判斷的簡單版本,是紅色大於一百五十,而且綠色和藍色都小於九十。這只是示意,請依你的光線實測調整。", "item": 4 },
   { "say": "RGB 受光線影響大,同一顆紅球在陰影下,數值可能完全不同。", "item": 5 }
  ],
  "顏色追蹤:門檻值、質心與轉向#2": [
   { "say": "這是把像素拆成紅綠藍的程式。", "item": 0 },
   { "say": "先把像素存成十六位元的數字。", "item": 1 },
   { "say": "紅色,把數字右移十一位,取五個位元,再左移三位,變成八位元風格的數值。", "item": 2 },
   { "say": "綠色,右移五位,取六個位元,再左移兩位。", "item": 3 },
   { "say": "藍色,直接取最低五個位元,再左移三位。", "item": 4 }
  ],
  "顏色追蹤:門檻值、質心與轉向#3": [
   { "say": "接著是紅色判斷的函式。", "item": 0 },
   { "say": "函式的開頭,輸入紅綠藍三個值,條件就是剛剛說的,紅大於一百五十,綠和藍小於九十。", "item": 1 },
   { "say": "函式在這裡結束。另外補充,改用 HSV,也就是色相、飽和度、明度,通常更穩定,因為是什麼顏色,主要由色相決定,但是轉換需要多一點運算。門檻值一定要在實際的場地實測校正,不要只靠常數。", "item": 2 }
  ],
  "顏色追蹤:門檻值、質心與轉向#4": [
   { "say": "再來是質心與面積。", "item": 0 },
   { "say": "掃描所有符合的像素,累加它們的 x 座標和個數。", "item": 1 },
   { "say": "畫面上這一段程式的意思是,用兩層迴圈掃描整張影像,每隔一個像素取樣,速度大約快四倍。只要符合紅色,就把 x 加進總和,個數加一。", "item": 2 },
   { "say": "如果個數夠多,就算出質心。質心 x 的平均,減畫面寬度的一半,再除以一半,得到負一,也就是最左,到正一,也就是最右。面積則是個數,除以取樣後的總像素數,得到占畫面的比例。", "item": 3 },
   { "say": "其中最小個數是雜訊過濾。符合的像素太少,就視為沒看到,避免因為一個噪點亂轉。", "item": 4 }
  ],
  "顏色追蹤:門檻值、質心與轉向#5": [
   { "say": "這是質心程式的結構。", "item": 0 },
   { "say": "先宣告總和與個數,都是零。", "item": 1 },
   { "say": "然後是外層迴圈,掃描每一列。", "item": 2 },
   { "say": "判斷個數是否大於最小個數。", "item": 3 },
   { "say": "最後的大括號,把這個判斷結束。", "item": 4 }
  ],
  "顏色追蹤:門檻值、質心與轉向#6": [
   { "say": "這張圖是質心偏離畫面中心的示意。", "item": 0 },
   { "say": "畫面中有一個紅色圓球,它的質心偏離畫面中心,產生一個水平的誤差。誤差為正,代表目標在右側,需要右轉。", "item": 1 }
  ],
  "顏色追蹤:門檻值、質心與轉向#7": [
   { "say": "最後是轉向控制。", "item": 0 },
   { "say": "把質心的誤差,當成 P I D 的誤差,目標是零,也就是目標在畫面中央。這就是第六章 P I D 的應用。", "item": 1 },
   { "say": "面積可以當成距離的粗略指標。面積越大,代表越近,到達門檻就停止或抓取。沒看到目標的時候,原地緩慢旋轉搜尋,並設定逾時。", "item": 2 },
   { "say": "程式裡,轉向量等於比例係數乘以誤差,例如比例係數是四十。", "item": 3 },
   { "say": "左輪是基本速度加轉向量,右輪是基本速度減轉向量。誤差大於零,目標在右,左輪快,車子向右轉。", "item": 4 }
  ],
  "TinyML 概念與上線前的評估#1": [
   { "say": "最後一個主題,TinyML 的概念與上線前的評估。TinyML 是什麼?", "item": 0 },
   { "say": "TinyML,是在微控制器這種資源極少的裝置上,執行機器學習模型,例如辨識關鍵字、分類影像,或是判斷振動模式。模型在電腦上訓練,縮小之後燒錄進裝置,裝置只做推論,也就是使用模型,不做訓練。", "item": 1 }
  ],
  "TinyML 概念與上線前的評估#2": [
   { "say": "這張圖是 TinyML 的五個步驟。", "item": 0 },
   { "say": "依序是:蒐集並標註資料,在電腦上訓練模型,量化壓縮,轉成可以嵌入的陣列檔,最後燒錄到裝置,實測延遲和準確率。", "item": 1 }
  ],
  "TinyML 概念與上線前的評估#3": [
   { "say": "我們把流程再說得清楚一點。", "item": 0 },
   { "say": "第一,蒐集資料。在你真實的場景,包含光線、背景、角度,拍照並標註類別。資料品質決定上限。", "item": 1 },
   { "say": "第二,訓練。通常在電腦上,用常見的深度學習工具,訓練小型模型。", "item": 2 },
   { "say": "第三,量化與壓縮。把模型的數值,從三十二位元浮點,縮小成八位元整數等等,縮小檔案、加速,但是可能損失一些準確率。", "item": 3 },
   { "say": "第四,轉換與嵌入。轉成能放進韌體的格式,常常是一個 C 陣列檔。", "item": 4 },
   { "say": "第五,燒錄與實測。在裝置上測推論時間、記憶體和準確率。具體用哪個工具、哪個函式庫,依工具與版本而異,請以官方文件為準,本課程不綁定特定的函式庫。", "item": 5 }
  ],
  "TinyML 概念與上線前的評估#4": [
   { "say": "我們來做一個資源估算的練習。", "item": 0 },
   { "say": "輸入影像九十六乘九十六灰階,每個像素一個位元組,九十六乘九十六是九千二百一十六位元組,大約九 K B。", "item": 1 },
   { "say": "模型權重常以數十 K B 到數百 K B 計,依模型而異,再加上推論需要的中間暫存區,叫 tensor arena,大小依模型而異。", "item": 1 },
   { "say": "如果 E S P 三十二可用的 S R A M 只有大約兩百 K B,模型加暫存區就必須小於它,否則放不下。實際的數字,一定要用工具的報告與實機量測確認。", "item": 1 }
  ],
  "TinyML 概念與上線前的評估#5": [
   { "say": "那哪些任務適合,哪些不適合?", "item": 0 },
   { "say": "適合的是簡單分類,例如有球或沒球、障礙物的種類,還有關鍵字和異常振動偵測。", "item": 1 },
   { "say": "不適合的是大型的即時多物件偵測,還有需要高解析度的任務。這些常常需要更強的邊緣裝置,或是雲端。", "item": 2 }
  ],
  "TinyML 概念與上線前的評估#6": [
   { "say": "上線之前的評估,不要只看準確率。", "item": 0 },
   { "say": "第一,看混淆矩陣,哪些類別常被誤認?", "item": 1 },
   { "say": "第二,誤報和漏報的成本不同。把牆壁誤認為安全通道,比把通道誤認為牆壁,危險得多。", "item": 2 },
   { "say": "第三,在新環境測試。換個教室、燈光、背景,再測一次。", "item": 3 },
   { "say": "第四,測延遲。推論一次要多久?加上取像與控制迴路,總延遲能不能支撐車速?", "item": 4 },
   { "say": "第五,測穩定性。連續跑一小時,看看記憶體有沒有洩漏,是否過熱。", "item": 5 }
  ],
  "TinyML 概念與上線前的評估#7": [
   { "say": "最後,也是最重要的一點,A I 的輸出不是安全保證。", "item": 0 },
   { "say": "模型可能出錯。A I 的輸出只能作為建議,最後的馬達指令,仍然要經過限速、範圍檢查和避障。急停和碰撞開關,必須獨立於 A I。這個原則在第九章會再強調。", "item": 1 }
  ],
  "closing": [
   { "say": "好,這一章我們學了影像、顏色閾值和質心,認識了 E S P 三十二 CAM 的資源限制,看了顏色追蹤的流程,也理解了 TinyML 的概念與評估。記得,A I 只是建議,急停要獨立於 A I。", "item": 0 },
   { "say": "接下來請完成本章的實作,再做章末小測驗,檢查自己學會了多少。我們下一章見。", "item": 1, "pause": 1 }
  ]
 }
}
