{
 "byKey": {
  "cover": [
   { "say": "大家好,歡迎回到從無到有打造 A I 機器人。這一章要讓機器人用眼睛看。我們會學影像怎麼變成偵測結果、影像怎麼進到 R O S 二、延遲怎麼處理,最後把偵測結果接到機器人的行動上。", "item": 0 }
  ],
  "原理:影像如何變成偵測結果#1": [
   { "say": "先用生活的例子開始,在人群中找穿紅衣的人。", "item": 0 },
   { "say": "要在人群中找穿紅衣的朋友,你的眼睛會先過濾,只留意紅色的東西,再看它的大小與位置。電腦視覺做的事類似:先把影像轉成容易分辨的表示,過濾出符合條件的像素,再算出位置與大小。", "item": 1 },
   { "say": "更複雜的物件偵測,也就是神經網路,則是用大量資料學出該看哪些特徵。", "item": 1 }
  ],
  "原理:影像如何變成偵測結果#2": [
   { "say": "為什麼偵測顏色要用 H S V,而不是 R G B?", "item": 0 },
   { "say": "相機輸出 R G B,也就是紅綠藍,或是 B G R。但同一個紅色蘋果,在亮處與暗處的 R G B 數值差很多。", "item": 1 },
   { "say": "H S V 把顏色拆成三個部分:色相 H,是哪種顏色;飽和度 S,是鮮不鮮豔;明度 V,是亮不亮。光線主要影響明度,所以用色相和飽和度判斷顏色,比較穩定。", "item": 1 },
   { "say": "OpenCV 的色相範圍是零到一百七十九,紅色橫跨零附近和一百七十九附近,所以要取兩段,例如零到十,與一百七十到一百七十九,再合併。", "item": 1 }
  ],
  "原理:影像如何變成偵測結果#3": [
   { "say": "這是 H S V 的色相環示意圖。", "item": 0 },
   { "say": "紅色剛好位於色相環的兩端,所以偵測紅色,要取零到十,和一百七十到一百七十九兩個區間,再限制飽和度與明度,避免抓到灰暗的東西。", "item": 1 }
  ],
  "原理:影像如何變成偵測結果#4": [
   { "say": "接著看卷積,神經網路看東西的基本動作。", "item": 0 },
   { "say": "卷積神經網路的基本運算,是拿一個小濾鏡,叫做核,在影像上滑動,每個位置做對應相乘再加總。", "item": 1 },
   { "say": "下一頁有例子。一列像素是十、十、十、五十、五十、五十,核是一、零、負一。算出來的輸出,在明暗交界處不是零,這就是邊緣偵測。", "item": 2 },
   { "say": "深層網路把很多這樣的層疊起來,前面的層學到邊緣,後面的層學到形狀與物體。訓練需要大量資料,推論的速度與準確率依模型與硬體而異,務必實測。", "item": 2 }
  ],
  "原理:影像如何變成偵測結果#5": [
   { "say": "我們把四個視窗逐一算一遍。", "item": 0 },
   { "say": "第一個視窗,十、十、十,算出來是十減十,等於零。", "item": 1 },
   { "say": "第二個視窗,十、十、五十,十減五十,等於負四十。", "item": 2 },
   { "say": "第三個視窗,十、五十、五十,同樣是十減五十,等於負四十。", "item": 3 },
   { "say": "第四個視窗,五十、五十、五十,五十減五十,等於零。中間兩個不是零的位置,就是明暗交界處。", "item": 4 }
  ],
  "原理:影像如何變成偵測結果#6": [
   { "say": "再來,從畫面位置換算到方位角,用針孔相機模型。", "item": 0 },
   { "say": "偵測到物體在畫面水平位置 cx,負一代表最左,正一代表最右。如果水平視角是六十度,半視角就是三十度,方位角等於 arctan 括號 cx 乘 tan 三十度。", "item": 1 },
   { "say": "cx 是零點五時,tan 三十度約零點五七七,算出方位角約十六點一度;如果用線性近似,零點五乘三十度,是十五度,在這個例子誤差只有約一度。越靠近畫面邊緣誤差越大,實際相機還有鏡頭畸變,需要用校正結果。", "item": 1 }
  ],
  "原理:影像如何變成偵測結果#7": [
   { "say": "這是針孔相機示意圖。", "item": 0 },
   { "say": "影像平面上的水平位置 cx,對應相機光軸的方位角。圖裡的例子是 cx 為零點五、視角六十度,方位角約十六點一度。", "item": 1 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#1": [
   { "say": "好,接下來把影像接進 R O S 二。先看感知 node 的定位。", "item": 0 },
   { "say": "導航讓機器人去某處,感知讓機器人知道那裡有什麼,像是找到充電座、認出目標物、偵測人。在 R O S 二裡,感知就是一個普通的 node:訂閱影像 topic,做影像處理或神經網路推論,發布偵測結果。", "item": 1 },
   { "say": "它只負責提出事實,也就是畫面中哪裡有什麼、有多大。至於要不要因此移動或停止,交給任務與安全層決定。", "item": 1 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#2": [
   { "say": "這是影像偵測 node 的管線圖。", "item": 0 },
   { "say": "從左到右,相機驅動發布影像,偵測 node 轉換並偵測後,發布偵測結果,還有除錯影像,最後由任務 node 據以導航或控制。注意,偵測 node 本身不直接控制機器人。", "item": 1 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#3": [
   { "say": "先來取得影像。", "item": 0 },
   { "say": "U S B 相機常用 v4l2 camera 或 usb cam 套件,套件名依發行版而異。樹莓派相機則依硬體與驅動而定。", "item": 1 },
   { "say": "模擬中的相機,由 Gazebo 外掛提供。TurtleBot 三的 waffle pi 等機型配有相機,burger 預設沒有。相機的解析度、格式、框架名稱和 topic 名稱,依驅動與機型而異。", "item": 2 },
   { "say": "第一個指令,是啟動 v4l2 camera 的 node。", "item": 3 },
   { "say": "第二個,用 topic list 加 減 t,通常會有 image raw,型別是 Image。", "item": 4 },
   { "say": "第三個,用 rqt image view 看畫面,確認影像真的有進來。", "item": 5 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#4": [
   { "say": "再看 cv bridge,ROS 影像與 OpenCV 之間的橋。", "item": 0 },
   { "say": "Image 是 R O S 的格式,OpenCV 用的是 numpy 陣列,cv bridge 負責轉換。畫面上的程式,先建立 CvBridge,再用它把訊息轉成 OpenCV 的影像,指定 bgr 八,也可以反過來,把處理後的影像轉回訊息。", "item": 1 },
   { "say": "轉換時 encoding 要對。相機是 rgb 八,你指定 bgr 八,cv bridge 會幫你轉;如果相機輸出的是壓縮格式或 YUV,要先確認。", "item": 2 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#5": [
   { "say": "這四行就是轉換的核心。", "item": 0 },
   { "say": "第一行,匯入 CvBridge。", "item": 1 },
   { "say": "第二行,建立一個 bridge 物件。", "item": 2 },
   { "say": "第三行,imgmsg to cv2,把 R O S 影像轉成 OpenCV 影像,OpenCV 慣用 B G R。", "item": 3 },
   { "say": "第四行,cv2 to imgmsg,把處理後的影像轉回 R O S 訊息,方便發布除錯影像。", "item": 4 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#6": [
   { "say": "我們來看一個範例,找紅色物體的偵測 node。", "item": 0 },
   { "say": "最簡單的 A I 前傳,是用顏色,也就是 H S V 偵測。", "item": 1 },
   { "say": "初始化的部分,建立 bridge,訂閱 image raw,用感測器的 QoS;發布一個叫 target px 的 Point,傳目標在畫面的位置;還宣告一個參數,最小面積比例,零點零零二。", "item": 2 },
   { "say": "收到影像的回呼,先轉成 OpenCV 影像,再轉成 H S V。用兩段紅色範圍做遮罩並合併,接著用形態學的 open 去掉小雜訊,找出輪廓,取最大的那一個。", "item": 3 },
   { "say": "如果面積佔畫面的比例太小就略過。否則算出中心的水平位置,換成負一到正一,左邊是負一、右邊是正一,再把佔畫面的比例一起發布出去。", "item": 3 },
   { "say": "說明有幾點。findContours 在 OpenCV 四回傳兩個值,三點多版回傳三個,依版本而異;H S V 閾值要依光線調整。", "item": 3 },
   { "say": "自訂用 Point 傳資料,只是教學簡化,正式專案建議使用 vision msgs 套件的 Detection2DArray 這類標準訊息,別人的 node 才讀得懂。", "item": 3 }
  ],
  "影像進入 ROS 2:相機驅動、cv_bridge 與偵測節點#7": [
   { "say": "這是範例程式的開頭,匯入需要的模組。", "item": 0 },
   { "say": "匯入 cv2,也就是 OpenCV。", "item": 1 },
   { "say": "匯入 numpy,處理陣列。", "item": 2 },
   { "say": "匯入 R C L py。", "item": 3 },
   { "say": "匯入 Node 類別。", "item": 4 },
   { "say": "匯入感測器資料的 QoS 設定,下面還有影像、Point 與 cv bridge 的匯入。", "item": 5 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#1": [
   { "say": "好,下一個單元,延遲與 QoS,讓機器人看到現在。影像很大、處理很慢,延遲從哪裡來?", "item": 0 },
   { "say": "相機每秒三十張,每張六百四十乘四百八十乘三,是九十二萬一千六百位元組,約零點九 M B,一秒約二十七點六 M B。", "item": 1 },
   { "say": "這些資料要經過,從相機擷取、經 R O S 二傳遞、可能跨網路,再轉換、推論、發布結果,最後交給下游決策。每一段都吃時間。", "item": 1 },
   { "say": "偵測結果對應的是過去的畫面。若延遲零點五秒,機器人以每秒零點二公尺前進,就已經多走了十公分。這個差距在靠近障礙或目標時很危險。", "item": 1 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#2": [
   { "say": "如果處理速度比到達速度慢,會怎樣?", "item": 0 },
   { "say": "舉例,相機每三十三點三毫秒來一張,偵測 node 處理一張要一百毫秒。node 每秒只處理約十張,另外二十張會等在佇列裡。如果佇列很深又不丟棄,延遲會一路堆高,直到佇列塞滿,機器人看到的是好幾秒前的世界。", "item": 1 },
   { "say": "解法的核心思想是,對控制用的資料,新鮮比完整重要。具體的作法有五個,接下來一個一個看。", "item": 2 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#3": [
   { "say": "前三個作法。", "item": 0 },
   { "say": "第一,訂閱時用感測器資料的 QoS,也就是 best effort、深度小,讓舊資料被丟掉,這是第二章學過的。", "item": 1 },
   { "say": "第二,或是訂閱深度一,處理完一張,再取最新的一張。", "item": 2 },
   { "say": "第三,降低輸入。降低相機解析度或每秒張數、只處理感興趣的區域,或是縮小影像再推論。", "item": 3 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#4": [
   { "say": "後兩個作法。", "item": 0 },
   { "say": "第四,提高處理速度。用更輕量的模型,避免多餘的格式轉換,必要時用 G P U 或加速器,依硬體而異。", "item": 1 },
   { "say": "第五,把重運算放到獨立的 node,或使用多執行緒執行器,避免阻塞其他回呼。", "item": 2 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#5": [
   { "say": "這是延遲示意圖。", "item": 0 },
   { "say": "兩條線對照著看。佇列很深而且不丟包的時候,延遲會持續堆高;深度為一而且丟棄舊影像的時候,延遲維持穩定。這就是新鮮比完整重要的意思。", "item": 1 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#6": [
   { "say": "這張是延遲預算圖。", "item": 0 },
   { "say": "圖裡把擷取、傳輸、轉換、推論與發布各段的毫秒數相加,總共是一百二十八毫秒,對應到的位置誤差是二點六公分。意思是,每一段都要算進去,才知道機器人看到的畫面有多舊。", "item": 1 }
  ],
  "延遲與 QoS:讓機器人看到「現在」#7": [
   { "say": "如何量測延遲?用時間戳。", "item": 0 },
   { "say": "影像 header 裡的 stamp,是擷取時間。在偵測 node 中,可以計算影像的年齡。", "item": 1 },
   { "say": "如果年齡超過門檻,就印出警告,影像過舊,然後略過不處理。", "item": 2 },
   { "say": "先匯入 Time 類別。", "item": 3 },
   { "say": "年齡等於現在的時間,減去影像的時間戳,換成秒。", "item": 4 },
   { "say": "如果年齡超過零點三秒,就丟掉。要注意,這要求相機 node 和你的 node 使用同一種時間:實機同一台電腦通常沒問題,模擬要 use sim time,跨電腦要做時間同步,例如 N T P 或 chrony。也可以用 topic delay 觀察延遲,指令可用性依版本而異。", "item": 5 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#1": [
   { "say": "最後一個單元,把偵測結果接到行動。偵測結果如何變成行動?", "item": 0 },
   { "say": "有一個重要原則,感知 node 不應該直接驅動馬達。", "item": 1 },
   { "say": "比較好的分層是,感知 node 發布事實,任務 node,或視覺伺服 node 讀取後決定行動,而行動仍要經過第三章的速度指令鏈,也就是限速、看門狗和急停。", "item": 1 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#2": [
   { "say": "方式一,視覺追蹤。", "item": 0 },
   { "say": "用偵測到的水平位置,負一到正一,轉成角速度,讓目標維持在畫面中央;用佔畫面的比例,決定前進或停止。", "item": 1 },
   { "say": "簡化範例是這樣。初始化時,訂閱剛剛的 target px,並發布到 cmd vel raw,不是 cmd vel,另外有一個每零點一秒的計時器。", "item": 2 },
   { "say": "收到目標時,角速度等於負零點八乘水平位置。目標在右邊,水平位置為正,就往右轉,也就是負的角速度。目標佔畫面比例小於零點一,就以每秒零點零五公尺前進;目標夠大,代表夠近,就停止。", "item": 3 },
   { "say": "計時器每次檢查距離上次收到目標過了多久,超過零點五秒,代表目標消失或逾時,就停止,然後發布指令。", "item": 4 },
   { "say": "重點有幾個。輸出到 cmd vel raw 而不是 cmd vel,由限速 node 把關。增益零點八和速度先設保守值。逾時要歸零。角速度的符號依座標慣例,z 向上、逆時針為正,影像 x 向右為正,所以要取負號。要先驗證符號,請把輪子架高來測試。", "item": 4 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#3": [
   { "say": "這一頁是範例的類別定義。", "item": 0 },
   { "say": "Follower 是繼承 Node 的類別,負責接收目標位置,並產生速度指令。", "item": 1 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#4": [
   { "say": "方式二,接到 Nav 二。", "item": 0 },
   { "say": "如果目標在地圖中有固定位置,例如充電座,就轉成導航目標。步驟有四個,先看前三個。", "item": 1 },
   { "say": "這個流程很容易出錯,包括視角、對齊、時間差。實測誤差要算進安全距離,不要讓機器人直接開到目標上面。", "item": 2 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#5": [
   { "say": "先看前三步。", "item": 0 },
   { "say": "第一步,由影像水平位置估計方位角。假設水平視角六十度,cx 是零點五時,方位角約零點五乘三十度,十五度,右側為負角。視角依相機規格而異,要查資料表與校正。", "item": 1 },
   { "say": "第二步,用雷達在該方位角的距離當距離,前提是相機與雷達對齊,也可以使用深度相機。", "item": 2 },
   { "say": "第三步,把距離和方位角換成 base link 座標,再用 T F 轉成 map 座標。", "item": 3 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#6": [
   { "say": "最後一步。", "item": 0 },
   { "say": "第四步,以導航動作送出目標,而且要停在目標前方一段安全距離。", "item": 1 }
  ],
  "把偵測結果接到行動:視覺追蹤、導航整合與隱私#7": [
   { "say": "最後,感知與導航整合有幾個設計原則。", "item": 0 },
   { "say": "第一,多張確認。連續 N 張都偵測到才算數,例如三張,降低誤判。", "item": 1 },
   { "say": "第二,信賴度門檻。模型輸出的信心分數低於門檻就丟掉,門檻需要實測調整。", "item": 2 },
   { "say": "第三,失效行為。偵測 node 當掉或逾時,系統要退回安全狀態。", "item": 3 },
   { "say": "第四,可觀測。發布畫了框的除錯影像,讓人能看出機器人看到了什麼。", "item": 4 },
   { "say": "另外,測試時要在不同光線、背景、距離下實測,記錄漏檢與誤判,不憑感覺說準確。", "item": 4 }
  ],
  "closing": [
   { "say": "好,這一章我們學了影像怎麼變成偵測結果、怎麼用 cv bridge 把影像接進 R O S 二、延遲與 QoS 要讓機器人看到現在,還有偵測結果必須經過速度指令鏈才能變成行動。", "item": 0 },
   { "say": "請接著完成本章的實作,並做章末小測驗。下一章見。", "item": 1, "pause": 1 }
  ]
 }
}
