{
 "byKey": {
  "cover": [
   {
    "say": "大家好,歡迎回到從無到有打造 A I 機器人。這一章,我們要幫機器人裝上眼睛。會學到相機怎麼成像、顏色怎麼被分出來,再做顏色追蹤,最後認識物件辨識,以及推論延遲的取捨。",
    "item": 0
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#1": [
   {
    "say": "先用一個生活類比,透過小孔看世界。",
    "item": 0
   },
   {
    "say": "在暗室的牆上開一個小孔,對面牆上就會出現倒立縮小的外面景象,這就是針孔相機。距離遠的物體,在牆上的像比較小,距離近的,像比較大。",
    "item": 1
   },
   {
    "say": "電子相機把牆換成感光元件,把畫面切成一個一個像素,每個像素記錄紅、綠、藍三種光的強度。所以電腦看到的,其實只是一大張數字表。",
    "item": 1
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#2": [
   {
    "say": "原理一,成像與大小距離的關係,我們分兩頁看。",
    "item": 0
   },
   {
    "say": "在簡化的針孔模型中,物體高度 H、距離 d、焦距 f,和像高 h 之間有一個關係,像高等於焦距乘物體高度,再除以距離。",
    "item": 1
   },
   {
    "say": "也就是說,像的大小與距離成反比。這就是模擬器裡,size 越大代表越近的原因。",
    "item": 2
   },
   {
    "say": "來看估算距離的數值例。球的直徑 D 是六點五公分。影像寬三百二十像素,水平視野假設為六十度,以像素為單位的焦距,大約是兩百七十七像素。",
    "item": 3
   },
   {
    "say": "如果球在影像中的寬度 w 是四十像素,距離就是焦距乘球直徑,除以四十,大約四十五公分。",
    "item": 4
   },
   {
    "say": "球變成二十像素寬的時候,距離就變成九十公分,正好加倍。實際的相機有鏡頭畸變和對焦的差異,要用已知距離的球實測校正。視野也依鏡頭而異,請查相機資料。",
    "item": 5
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#3": [
   {
    "say": "第二頁,是估算方向的數值例。",
    "item": 0
   },
   {
    "say": "假設球的中心在影像水平的 cx 等於正零點五,也就是右半邊的一半。半視野是三十度,方向角等於零點五乘三十度的正切值,再取反正切,大約是十六點一度。",
    "item": 1
   },
   {
    "say": "如果用線性近似,零點五乘三十度,是十五度,在小角度的時候,差異不大。所以 cx 可以直接當作要轉向的程度來使用。",
    "item": 2
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#4": [
   {
    "say": "把剛才的公式,分兩頁整理。",
    "item": 0
   },
   {
    "say": "第一個,像高等於焦距乘物體高度,除以距離。",
    "item": 1
   },
   {
    "say": "第二個,以像素為單位的焦距,等於影像寬的一半,三百二十除以二,再除以三十度的正切值,等於一百六十除以零點五七七四,大約兩百七十七像素。",
    "item": 2
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#5": [
   {
    "say": "第二頁,是距離和方向角的算式。",
    "item": 0
   },
   {
    "say": "距離 d,等於焦距乘球直徑,再除以球的像素寬,兩百七十七乘六點五,除以四十,大約四十五公分。",
    "item": 1
   },
   {
    "say": "方向角,等於零點五乘三十度的正切值,取反正切,也就是反正切零點二八八七,大約十六點一度。",
    "item": 2
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#6": [
   {
    "say": "這張是針孔成像的示意圖。",
    "item": 0
   },
   {
    "say": "球經過針孔,在感光元件上形成倒立縮小的像。圖中列出像高的公式,還有一個數值例,距離加倍的時候,像高會減半。",
    "item": 1
   }
  ],
  "原理:相機如何成像,顏色如何被分出來#7": [
   {
    "say": "原理二,顏色與色彩空間。",
    "item": 0
   },
   {
    "say": "像素值是用藍、綠、紅,B G R 三個通道來表示的,但是亮度一變,三個值都跟著變,所以不適合拿來判斷是不是紅色。",
    "item": 1
   },
   {
    "say": "H S V 把顏色拆成三個部分,色相 H,是哪一種顏色,飽和度 S,是鮮豔程度,明度 V,是亮度。在 OpenCV 裡,H 的範圍是零到一百七十九。紅色橫跨零的兩側,所以要用兩段範圍合併。",
    "item": 1
   },
   {
    "say": "閾值的意思,就是 H 在某個範圍,S 和 V 又高於下界的像素,算是目標顏色。inRange 會把符合的像素變成白色,其他變成黑色,得到遮罩。再找出最大的白色區塊,也就是輪廓,就得到球的位置和大小。",
    "item": 2
   }
  ],
  "相機入門:取得影像與認識色彩空間#1": [
   {
    "say": "好,來看相機入門。為什麼要加上相機?",
    "item": 0
   },
   {
    "say": "超音波只知道前面有東西,循線感測器只知道腳下是黑還是白。相機能告訴你,那是紅球、那是人,或是目標在畫面的右邊。",
    "item": 1
   },
   {
    "say": "影像的資訊量大,運算也重,所以這一章的核心問題是,怎麼把影像變成一個小小的數字,例如球的位置,再送進前幾章的控制迴圈。",
    "item": 1
   }
  ],
  "相機入門:取得影像與認識色彩空間#2": [
   {
    "say": "怎麼在樹莓派上取得影像呢?",
    "item": 0
   },
   {
    "say": "Pi 相機走 C S I 排線。目前 Raspberry Pi OS 的相機堆疊是 libcamera,Python 端常用 Picamera2,舊的 picamera 函式庫已經不適用於新系統。",
    "item": 1
   },
   {
    "say": "排線要在關機斷電的時候安裝,金屬接點的方向要正確,並注意樹莓派四和五的接頭規格不同。",
    "item": 1
   },
   {
    "say": "還要注意色彩順序。Picamera2 的 RGB888 格式,在 numpy 陣列裡,實際上通常是 B、G、R 的順序,剛好和 OpenCV 預設的 B G R 一致。如果畫面顏色偏藍或偏紅,就是順序錯了,請以實際輸出為準。",
    "item": 2
   },
   {
    "say": "如果是 U S B 網路攝影機,則可以用 cv2 的 VideoCapture 來讀取。",
    "item": 2
   }
  ],
  "相機入門:取得影像與認識色彩空間#3": [
   {
    "say": "取得影像的範例程式,API 會依版本而異,我們分兩頁看。",
    "item": 0
   },
   {
    "say": "第一行,從 picamera2 匯入 Picamera2。",
    "item": 1
   },
   {
    "say": "接著建立一個相機物件。",
    "item": 2
   },
   {
    "say": "然後建立預覽設定,影像大小是六百四十乘四百八十,格式是 RGB888。",
    "item": 3
   },
   {
    "say": "再把相機設定好。",
    "item": 4
   },
   {
    "say": "最後啟動相機。",
    "item": 5
   }
  ],
  "相機入門:取得影像與認識色彩空間#4": [
   {
    "say": "第二頁,是真正抓取影像的那一行。",
    "item": 0
   },
   {
    "say": "呼叫 capture array,就會得到一個 numpy 陣列,形狀是高四百八十、寬六百四十、三個通道。",
    "item": 1
   }
  ],
  "相機入門:取得影像與認識色彩空間#5": [
   {
    "say": "再來是解析度與運算量。",
    "item": 0
   },
   {
    "say": "像素數越多,每個處理步驟越慢。",
    "item": 1
   },
   {
    "say": "把影像縮小一半,運算量大約降到四分之一。",
    "item": 2
   },
   {
    "say": "六百四十乘四百八十,是三十萬七千二百個像素。",
    "item": 3
   },
   {
    "say": "三百二十乘二百四十,只有七萬六千八百個像素,只有四分之一。顏色追蹤和簡單偵測,通常三百二十乘二百四十就夠了,太小的話,會看不見遠處的小物體。解析度是速度與細節的取捨,之後會量測。",
    "item": 4
   }
  ],
  "相機入門:取得影像與認識色彩空間#6": [
   {
    "say": "色彩空間,為什麼用 H S V?",
    "item": 0
   },
   {
    "say": "OpenCV 的影像預設是 B G R。它的缺點是亮度和顏色混在一起,同一顆紅球,在陰影下和燈光下,數值差很多。H S V 把顏色分成三個通道,用 H 為主判斷顏色,比較不受光線影響。",
    "item": 0
   },
   {
    "say": "H 是色相,就是顏色本身。OpenCV 的 H 範圍是零到一百七十九,相當於色環三百六十度除以二。",
    "item": 1
   },
   {
    "say": "S 是飽和度,顏色鮮不鮮豔,範圍是零到二百五十五。",
    "item": 2
   },
   {
    "say": "V 是明度,也就是亮度,範圍也是零到二百五十五。",
    "item": 3
   },
   {
    "say": "轉換的方法,是先匯入 cv2。",
    "item": 4
   },
   {
    "say": "再用 cvtColor,把影像從 B G R 轉成 H S V。典型的範圍,僅供起點,務必用你的場地實測。綠色的 H 大約四十到八十,藍色大約一百到一百三十,紅色比較特殊,H 靠近零和一百七十九兩端,需要兩段範圍合併。",
    "item": 5
   }
  ],
  "相機入門:取得影像與認識色彩空間#7": [
   {
    "say": "最後,光線與環境,也會影響顏色。",
    "item": 0
   },
   {
    "say": "曝光與白平衡會改變顏色。室內日光燈和黃光燈下的顏色,差很多。",
    "item": 1
   },
   {
    "say": "逆光、反光的地板、太暗的環境,會讓顏色判斷失敗。",
    "item": 2
   },
   {
    "say": "盡量固定相機的曝光與白平衡設定,依 Picamera2 的控制項而異,避免自動調整,讓顏色忽亮忽暗。",
    "item": 3
   },
   {
    "say": "也建議先用 imwrite,存幾張真實場景的影像,觀察 H S V 的值,再決定門檻,不要只憑網路上的數字。",
    "item": 4
   }
  ],
  "顏色追蹤:從像素到馬達#1": [
   {
    "say": "接下來是顏色追蹤,從像素到馬達。先看目標。",
    "item": 0
   },
   {
    "say": "讓小車看見一顆彩色球,朝它轉向、靠近,距離夠近的時候停下。這是機器人視覺最經典的入門,也是感知、決策、控制的完整範例。",
    "item": 1
   }
  ],
  "顏色追蹤:從像素到馬達#2": [
   {
    "say": "這張是顏色追蹤的影像處理流程。",
    "item": 0
   },
   {
    "say": "請從頭看。先擷取影像,縮小,轉成 H S V,用 inRange 產生顏色遮罩,再用形態學去掉雜點,找最大的輪廓,計算球的中心與大小,最後交給決策與控制。",
    "item": 1
   }
  ],
  "顏色追蹤:從像素到馬達#3": [
   {
    "say": "處理流程與程式,畫面上這一大段,我們先用口語說明,後面兩頁再逐段看。",
    "item": 0
   },
   {
    "say": "它有一個找球的函式。先把影像縮成三百二十乘二百四十,轉成 H S V,用上下界做出遮罩。再用形態學的開運算,去掉小雜點。然後找出所有輪廓,如果沒有輪廓,就回傳沒找到。",
    "item": 1
   },
   {
    "say": "有輪廓的話,取面積最大的那一個,如果面積小於一百,視為雜訊,一樣回傳沒找到。否則算出外框,球的水平位置 cx,是外框中心減一百六十,再除以一百六十,範圍在負一到正一之間。",
    "item": 1
   },
   {
    "say": "球的大小 size,是外框寬度除以三百二十,也就是占畫面寬度的比例。最後回傳,找到了,cx,還有 size。",
    "item": 1
   },
   {
    "say": "注意,OpenCV 四的 findContours 回傳兩個值,OpenCV 三則回傳三個值,版本而異。",
    "item": 1
   },
   {
    "say": "紅色要用兩段 inRange 再合併。模擬器的 robot 點 camera 點 find,回傳的格式和這個函式一致,所以邏輯可以直接搬過去。",
    "item": 1
   }
  ],
  "顏色追蹤:從像素到馬達#4": [
   {
    "say": "我們把程式分兩頁看,先是前半段。",
    "item": 0
   },
   {
    "say": "第一行,匯入 cv2 和 numpy。",
    "item": 1
   },
   {
    "say": "接著設定顏色的下界,這個例子是綠色球,需要實測。",
    "item": 2
   },
   {
    "say": "再設定上界。",
    "item": 3
   }
  ],
  "顏色追蹤:從像素到馬達#5": [
   {
    "say": "後半段,是找球函式。",
    "item": 0
   },
   {
    "say": "這個函式接收一張影像,依序做縮小、轉色、遮罩、去雜點、找輪廓、挑最大的,然後回傳有沒有找到、球的水平位置,以及球的大小。",
    "item": 1
   }
  ],
  "顏色追蹤:從像素到馬達#6": [
   {
    "say": "這張圖說明,球在畫面中的水平位置,怎麼轉成轉向修正。",
    "item": 0
   },
   {
    "say": "cx 是負的,表示球在左側。cx 是正的,表示球在右側。左右輪的速度會依 cx 增減,球夠大,也就是很近的時候,就停車。",
    "item": 1
   }
  ],
  "顏色追蹤:從像素到馬達#7": [
   {
    "say": "最後是決策與控制。程式一開始設定基本速度三十五,增益三十,停車的大小是零點二五。",
    "item": 0
   },
   {
    "say": "如果沒有看到球,就原地慢慢旋轉搜尋,左輪負二十五,右輪正二十五。",
    "item": 1
   },
   {
    "say": "如果球的 size 大於停車的大小,表示夠近了,就停車。",
    "item": 2
   },
   {
    "say": "其他情況,左輪是基本速度加增益乘 cx,右輪是基本速度減增益乘 cx。",
    "item": 3
   },
   {
    "say": "方向檢查,cx 大於零,表示球在右側,左輪加快、右輪減慢,車子向右轉,也就是順時針。如果轉錯邊,多半是符號,或是影像左右鏡像的問題。",
    "item": 3
   }
  ],
  "物件辨識與推論延遲的取捨#1": [
   {
    "say": "最後一個單元,物件辨識與推論延遲的取捨。先看顏色追蹤和物件辨識的差別。",
    "item": 0
   },
   {
    "say": "顏色追蹤看的是某種顏色,背景如果有同色的物體,就會被誤認。物件辨識使用訓練好的神經網路,回答三件事,這是什麼,也就是標籤,在哪裡,也就是外框,還有多確定,也就是信心分數。",
    "item": 1
   },
   {
    "say": "代價是更多的運算,與更長的延遲。",
    "item": 1
   }
  ],
  "物件辨識與推論延遲的取捨#2": [
   {
    "say": "在樹莓派上跑模型,基本上是這樣。樹莓派沒有強大的 G P U,通常使用輕量的模型。常見的推論引擎有這幾種。",
    "item": 0
   },
   {
    "say": "TensorFlow Lite,或是它的後繼 LiteRT,執行 tflite 模型。",
    "item": 1
   },
   {
    "say": "ONNX Runtime,執行 onnx 模型。",
    "item": 2
   },
   {
    "say": "OpenCV 的 dnn 模組,也能載入部分模型。",
    "item": 3
   },
   {
    "say": "也可以搭配 A I 加速器,例如另購的加速模組。是否支援、如何設定,依硬體與軟體版本而異,本課程不依賴。",
    "item": 4
   },
   {
    "say": "模型選擇上,優先選擇為行動或嵌入式設計的小型物件偵測模型,例如 MobileNet 系列的 SSD,或小型的 YOLO 變體,並使用量化版本,可以降低延遲和記憶體。",
    "item": 5
   },
   {
    "say": "具體可用的模型、授權與效能,請查閱模型提供者的說明,本教材不宣稱任何特定模型的準確度或速度。",
    "item": 5
   },
   {
    "say": "輸出格式依模型而異,務必讀模型文件,確認張量的順序,與座標的定義,是像素,還是零到一的比例。",
    "item": 5
   }
  ],
  "物件辨識與推論延遲的取捨#3": [
   {
    "say": "推論的基本流程,有四步,先看前三步。",
    "item": 0
   },
   {
    "say": "第一步,影像前處理。縮放到模型輸入的大小,例如三百二十乘三百二十,轉換色彩順序,必要的話做正規化,除以二百五十五,或減去均值。",
    "item": 1
   },
   {
    "say": "第二步,推論。TFLite 是呼叫 interpreter 的 invoke,ONNX Runtime 是呼叫 session 的 run。",
    "item": 2
   },
   {
    "say": "第三步,後處理。解析輸出的外框、類別、分數,依信心門檻過濾,再做 NMS,也就是非極大值抑制,去除重複的外框。",
    "item": 3
   }
  ],
  "物件辨識與推論延遲的取捨#4": [
   {
    "say": "第四步,轉成控制資訊,例如最大的 person 的 cx 與 size。",
    "item": 1
   },
   {
    "say": "這樣就能接回前面學的控制迴圈了。",
    "item": 1
   }
  ],
  "物件辨識與推論延遲的取捨#5": [
   {
    "say": "接下來,算一下延遲和幀率。",
    "item": 0
   },
   {
    "say": "假設一個系統,擷取二十毫秒,前處理十毫秒,推論五十毫秒,後處理與控制十毫秒,總延遲九十毫秒。",
    "item": 1
   },
   {
    "say": "車速每秒二十公分的時候,一張影像處理期間,車子前進零點零九乘二十,等於一點八公分。換成推論兩百毫秒的大模型,總延遲約兩百五十毫秒,大約四張每秒,車子會前進五公分。這些數字是為了說明做的假設,你的實際結果必須實測。",
    "item": 2
   },
   {
    "say": "最高的幀率,大約是一千除以九十,約十一張每秒。",
    "item": 3
   },
   {
    "say": "延遲造成的問題是,控制器看到的是過去的世界。如果延遲很大,又用很大的增益,車子會因為看到的和現在的位置不符,而震盪。",
    "item": 3
   }
  ],
  "物件辨識與推論延遲的取捨#6": [
   {
    "say": "這張圖,是推論延遲與幀率的取捨示意。",
    "item": 0
   },
   {
    "say": "圖中是分段長條圖。小模型每張大約九十毫秒,大模型大約兩百五十毫秒。下方列出對應的最高幀率,還有車子在處理期間前進的距離。",
    "item": 1
   }
  ],
  "物件辨識與推論延遲的取捨#7": [
   {
    "say": "最後,怎麼實測?",
    "item": 0
   },
   {
    "say": "連續跑一百張,算平均,以及最慢的百分之五。最慢的情況,才是安全設計要用的數字。",
    "item": 1
   },
   {
    "say": "程式的做法是,先記下開始時間。",
    "item": 3
   },
   {
    "say": "再呼叫偵測函式。",
    "item": 4
   },
   {
    "say": "然後算出經過了多少毫秒。",
    "item": 5
   },
   {
    "say": "最後印出推論花了多少毫秒。同時用 vcgencmd measure temp 監控溫度,過熱會降頻,讓延遲變長。",
    "item": 6
   }
  ],
  "closing": [
   {
    "say": "這一章先到這裡。我們學了相機成像與 H S V、顏色追蹤從像素到馬達,以及物件辨識的推論流程與延遲取捨。記得,A I 的輸出要經過檢查,才能變成動作。",
    "item": 0
   },
   {
    "say": "接下來,請完成實作,再做章末小測驗,看看自己學會了多少。我們下一章見!",
    "item": 1,
    "pause": 1
   }
  ]
 }
}