{
 "byKey": {
  "cover": [
   { "say": "大家好,歡迎回到從無到有打造 A I 機器人,機械手臂版。這一章,我們要讓手臂有眼睛,學相機怎麼看世界,怎麼從影像找出物體,再把像素座標換成手臂的桌面座標,最後看看誤差從哪裡來。", "item": 0 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#1": [
   { "say": "我們先用影子和投影,來打個比方。", "item": 0 },
   { "say": "用手電筒照一個物體,牆上會出現放大的影子,物體離手電筒越近,影子越大。相機鏡頭其實是反過來,世界上的光線通過一個小孔,在感光元件上形成縮小的倒影。物體越遠,在影像上就越小,這就是為什麼同樣大的方塊,離相機遠的看起來比較小。", "item": 1 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#2": [
   { "say": "再來看物理原理,針孔模型。", "item": 0 },
   { "say": "假設鏡頭是一個針孔,物體上的一點、針孔,還有影像上的對應點,在同一條直線上。由相似三角形,可以得到影像上離光軸的距離 u,等於焦距 f 乘以 X,再除以 Z。其中 f 是焦距,單位是像素,X 是物體離光軸的實際橫向距離,Z 是物體到相機的深度。", "item": 1 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#3": [
   { "say": "這張圖是針孔相機模型。", "item": 0 },
   { "say": "圖裡,物體、針孔和影像點,在一條直線上。由相似三角形,得到影像座標,等於焦距乘以橫向距離,再除以深度。", "item": 1 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#4": [
   { "say": "我們用 Python 驗算一個數值例題。", "item": 0 },
   { "say": "假設焦距是六百像素,物體離光軸十公分,離相機四十公分。算出來,物體在影像上離中心一百五十像素。在深度四十公分的地方,每個像素代表四十除以六百,大約零點零六七公分。", "item": 1 },
   { "say": "如果相機升到六十公分,每像素就是零點一公分,視野變大了,但解析度變差。這也解釋了,為什麼第八章會說,像素誤差不是主要瓶頸,一個像素只有零點幾毫米。", "item": 1 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#5": [
   { "say": "畫面上是剛剛驗算的程式。", "item": 0 },
   { "say": "焦距設為六百像素,這個數字要用相機標定得到。", "item": 1 },
   { "say": "物體離光軸十公分,離相機四十公分。", "item": 2 },
   { "say": "影像上的距離,是焦距乘 X,再除以 Z。", "item": 3 },
   { "say": "最後印出來,是一百五十,和零點零六六七。", "item": 4 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#6": [
   { "say": "接下來,從像素到桌面,用的是單應性。", "item": 0 },
   { "say": "桌面是一個平面。平面上的點,和影像上的點之間,存在一個三乘三矩陣 H 的對應,叫做平面單應性,它同時處理縮放、旋轉、平移和透視。H 有八個自由度,所以四組對應點就能解出來。這一步就是手眼校正的核心,把相機看到的世界,換成手臂的座標系。", "item": 1 }
  ],
  "原理:針孔相機與單應性——像素如何變成公分#7": [
   { "say": "這張圖是兩種手眼配置。", "item": 0 },
   { "say": "第一種是眼在手外,相機固定在桌面上方,一次看全場。第二種是眼在手上,相機隨著手臂移動。兩種都要把相機座標,換成手臂座標。", "item": 1 }
  ],
  "相機與顏色分割:從影像找到物體#1": [
   { "say": "好,我們來看相機,還有怎麼從影像找到物體。先問,為什麼要視覺?", "item": 0 },
   { "say": "前面的章節裡,方塊的位置是我們手動告訴手臂的。真實場景中,物體會被放在任意位置,手臂要自己看出來。這就是視覺定位,相機拍桌面,程式找出物體在影像中的位置,單位是像素,再換算成手臂的桌面座標,這是下一個單元的內容。", "item": 1 }
  ],
  "相機與顏色分割:從影像找到物體#2": [
   { "say": "這張圖是視覺定位的管線。", "item": 0 },
   { "say": "從左到右,相機影像,先經過顏色分割和輪廓,找出物體質心的像素座標,再用單應性轉成桌面座標,接上逆運動學驅動手臂。圖上也列出了每一段的誤差來源。", "item": 1 }
  ],
  "相機與顏色分割:從影像找到物體#3": [
   { "say": "先談相機的安裝,有幾個要點。", "item": 0 },
   { "say": "第一,俯視安裝。相機固定在桌面正上方,或斜上方,鏡頭朝下看整個工作區。這最簡單,影像和桌面近似線性對應。", "item": 1 },
   { "say": "第二,固定不動。標定之後,相機的位置、角度、焦距、解析度都不能變,要固定在支架上,並用膠帶或螺絲鎖緊。", "item": 2 },
   { "say": "第三,不被手臂擋住。相機視野不能被手臂本身遮住,至少在拍照的那一刻,手臂要退到視野外,也就是休息位。", "item": 3 }
  ],
  "相機與顏色分割:從影像找到物體#4": [
   { "say": "安裝的另外兩點,再加上顏色分割。", "item": 0 },
   { "say": "第四,光線。要用均勻的光,避免強烈的陰影和反光,而且固定曝光和白平衡,依相機和驅動而異,否則顏色閾值會漂移。", "item": 1 },
   { "say": "第五,背景。單色,而且跟物體的對比要大。", "item": 2 },
   { "say": "最簡單的物體偵測是顏色分割。把影像轉到 H S V 色彩空間,挑出落在某個色相範圍的像素。", "item": 3 },
   { "say": "紅色比較特別,色相在零附近和一百七十九附近都有,因為色相會繞一圈,所以要用兩個範圍相加。", "item": 4 },
   { "say": "上面的數字都只是起點,不同的相機和燈光會差很多,務必在你的環境,用實際影像調整,可以寫一個小工具顯示遮罩,拖動滑桿調閾值。", "item": 5 }
  ],
  "相機與顏色分割:從影像找到物體#5": [
   { "say": "我們來看顏色分割的程式。", "item": 0 },
   { "say": "先匯入 OpenCV,也就是 cv2,還有 numpy。H S V 比 B G R 對光線變化更穩定。OpenCV 裡,H 的範圍是零到一百七十九,是色相的度數除以二,S 和 V 是零到二百五十五。", "item": 1 },
   { "say": "再匯入 numpy。", "item": 2 },
   { "say": "接著打開第一支 U S B 相機,編號依系統而異。", "item": 3 },
   { "say": "讀一張影像,存成 frame。", "item": 4 }
  ],
  "相機與顏色分割:從影像找到物體#6": [
   { "say": "接下來的幾行。", "item": 0 },
   { "say": "讀完影像之後,把相機釋放。", "item": 1 },
   { "say": "再把影像轉成 H S V 色彩空間。", "item": 2 },
   { "say": "註解寫著,這是藍色的範圍,只是示意,必須用你的環境實測調整。", "item": 3 },
   { "say": "下限設定色相一百、飽和度一百二十、明度七十。", "item": 4 }
  ],
  "相機與顏色分割:從影像找到物體#7": [
   { "say": "最後是上限和遮罩。", "item": 0 },
   { "say": "上限設定色相一百三十,飽和度和明度都是二百五十五。", "item": 1 },
   { "say": "用範圍函式,把落在下限和上限之間的像素,挑出來成為遮罩。", "item": 2 },
   { "say": "至於紅色,第一個遮罩取色相零到十,第二個遮罩取一百七十到一百七十九,再用位元運算的或,把兩個遮罩合在一起。", "item": 3 }
  ],
  "手眼校正:從像素座標到桌面座標#1": [
   { "say": "好,現在是手眼校正,從像素座標到桌面座標。我們先從最簡單的情形,縮放加平移開始。", "item": 0 },
   { "say": "我們找到了方塊的像素座標 u、v,但手臂要的是桌面座標 x、y,單位是公分,以底座為原點。這需要一個像素到桌面的轉換,也就是手眼校正的簡化版,相機固定在外面,看著手臂工作,叫眼在手外。", "item": 1 },
   { "say": "如果相機正對桌面,沒有明顯的透視和畸變,轉換就是線性的,每個像素對應固定的公分數。", "item": 2 },
   { "say": "驗算一下,像素三百、二百五十,算出來 x 是十七點五,y 是零。", "item": 3 },
   { "say": "程式就是這兩行算式,回傳 x 和 y。", "item": 4 },
   { "say": "解析度的概念是,每像素零點零五公分,也就是零點五毫米。", "item": 5 }
  ],
  "手眼校正:從像素座標到桌面座標#2": [
   { "say": "這是縮放加平移的公式。", "item": 0 },
   { "say": "舉例,量到影像中的一百、一百,對應桌面的十、十公分,而每像素零點零五公分。影像的 u 向右,對應桌面的 y 減少,v 向下,對應 x 增加,也就是遠離底座。", "item": 0 },
   { "say": "x 等於十,加上 v 減一百,乘零點零五。", "item": 1 },
   { "say": "y 等於十,減去 u 減一百,乘零點零五。", "item": 2 },
   { "say": "把它寫成函式,輸入像素的 u 和 v,回傳桌面的 x 和 y。", "item": 3 }
  ],
  "手眼校正:從像素座標到桌面座標#3": [
   { "say": "最後用函式驗算。", "item": 0 },
   { "say": "輸入三百、二百五十,印出來是十七點五、零點零。所以偵測的一個像素誤差,只造成零點五毫米的位置誤差,影像解析度通常不是主要瓶頸。", "item": 1 }
  ],
  "手眼校正:從像素座標到桌面座標#4": [
   { "say": "接下來是一般的情形,平面單應性,英文是 Homography。", "item": 0 },
   { "say": "相機斜著看,或者有透視的時候,影像中的矩形會變成梯形,簡單的縮放就不夠用。桌面是一個平面,平面到平面的投影轉換,可以用一個三乘三的矩陣 H 描述。像素座標乘上 H,再除以第三個分量,就得到桌面座標。", "item": 1 },
   { "say": "H 有八個自由度,右下角固定為一,所以需要四組不共線的對應點,也就是像素和桌面座標,求解八個方程式。", "item": 2 },
   { "say": "數值例題,有四個標定點,像素對應桌面的公分數。", "item": 3 },
   { "say": "解出來,取到小數六位,就是畫面上的矩陣 H。", "item": 4 },
   { "say": "用它轉換,影像中心三百二十、二百四十,算出來是桌面的十六點四六、零點零零公分。另外,二百、三百,則是十四點二、四點五公分。這些數字已經用 Python,numpy 解線性方程式驗算過。", "item": 5 }
  ],
  "手眼校正:從像素座標到桌面座標#5": [
   { "say": "這一頁是用 OpenCV 做同樣的事。", "item": 0 },
   { "say": "函式依版本而異,請查閱文件。大致的步驟是,把四個像素點當來源,四個桌面點當目標,用透視轉換函式求出 H,再把想轉換的像素點,交給轉換函式,結果是十六點四六、零。", "item": 1 },
   { "say": "實務上,如果有四個以上的點,可以用求單應性的函式,做最小平方擬合,降低單點誤差。", "item": 2 }
  ],
  "手眼校正:從像素座標到桌面座標#6": [
   { "say": "這一頁是單應性的公式與標定點。", "item": 0 },
   { "say": "公式是,x 撇、y 撇、w 撇,等於 H 乘上 u、v、一,桌面的 x 等於 x 撇除以 w 撇,y 等於 y 撇除以 w 撇。", "item": 1 },
   { "say": "第一個標定點,像素八十、六十,對應桌面二十四、十。", "item": 2 },
   { "say": "第二個,像素五百六十、六十,對應二十四、負十。", "item": 3 },
   { "say": "第三個,像素六百、四百二十,對應十、負十。", "item": 4 }
  ],
  "手眼校正:從像素座標到桌面座標#7": [
   { "say": "標定點和矩陣的後半部分。", "item": 0 },
   { "say": "第四個標定點,像素四十、四百二十,對應桌面十、十。", "item": 1 },
   { "say": "矩陣 H 的第一列,是零、負零點零三五二三八、二十六點八。", "item": 2 },
   { "say": "OpenCV 的程式,則是匯入 cv2 和 numpy。", "item": 3 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#1": [
   { "say": "最後一個單元,談誤差來源與驗證。", "item": 0 },
   { "say": "視覺引導的最終位置誤差,是整條管線所有誤差的累積。只有知道每一段的大小,才知道哪裡值得改善。第一種是物體高度造成的視差。單應性只對標定的那個平面,也就是桌面成立。方塊有高度,它的頂面離相機更近,在影像中看起來,被推離光軸一點。", "item": 1 },
   { "say": "對策有三個。第一,以物體頂面的平面,另外標定一個 H,適合固定高度的物體。", "item": 2 },
   { "say": "第二,相機拉高一點,H 大,偏移就小,或者把相機放在工作區正中央,減小離光軸的距離。", "item": 3 },
   { "say": "第三,使用物體底部,或質心偵測,加上高度補償。", "item": 4 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#2": [
   { "say": "視差的公式與數值例題。", "item": 0 },
   { "say": "設相機離桌面 H,物體高度 h,物體離光軸的水平距離 r。偏移等於 r 乘 h,再除以 H 減 h。", "item": 1 },
   { "say": "例如 H 是四十公分,h 是四公分,r 是二十公分,偏移就是二十乘四,除以三十六,大約二點二公分。這已經大到足以夾空了。", "item": 2 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#3": [
   { "say": "這張圖是視差誤差的示意。", "item": 0 },
   { "say": "物體頂面在影像中,被推離光軸,影像會以為物體在桌面上更遠的地方。偏移量,等於離光軸的距離,乘以物體高度,再除以相機高度減物體高度。", "item": 1 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#4": [
   { "say": "接著是第二和第三種誤差。", "item": 0 },
   { "say": "第二是鏡頭畸變。廣角鏡頭在邊緣,會把直線拍成曲線。OpenCV 有相機標定的流程,拍多張棋盤格,求出內參和畸變係數,再校正,細節依版本而異。小範圍、中心區域的入門專題可以忽略,但邊緣的誤差會很明顯。", "item": 1 },
   { "say": "第三是單應性標定誤差。標定點的量測誤差、偵測誤差,會傳到 H。所以要用更多點,分佈更廣,並做驗證。", "item": 2 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#5": [
   { "say": "第四和第五種誤差。", "item": 0 },
   { "say": "第四是像素與解析度。每像素零點零五公分的時候,偵測誤差一到兩個像素,就是零點五到一毫米,比起其他來源,通常很小。", "item": 1 },
   { "say": "第五是手臂定位誤差。第三章講的背隙、量化、下垂,通常是零點五公分的量級,常常是最大的來源。", "item": 2 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#6": [
   { "say": "最後一種是時間與動作,再加上誤差預算。", "item": 0 },
   { "say": "拍照和抓取之間,物體可能被推動,例如被手臂碰到。", "item": 1 },
   { "say": "相機的曝光和緩衝會造成延遲,拍到的是零點一秒前的畫面。", "item": 2 },
   { "say": "光線改變,也會使顏色閾值失效。", "item": 3 },
   { "say": "至於誤差預算,各誤差來源互相獨立的時候,總誤差大約是平方和開根號,也就是 R S S。", "item": 4 },
   { "say": "最大的是手臂定位,所以要把力氣花在機構和校準,而不是換更高解析度的相機。", "item": 5 }
  ],
  "誤差來源與驗證:視差、畸變與誤差預算#7": [
   { "say": "我們算算看誤差預算。", "item": 0 },
   { "say": "範例中,標定與偵測是零點一公分,視差殘差是零點二二公分,這是已經用頂面標定,把二點二公分降到十分之一,手臂定位是零點五公分。", "item": 1 },
   { "say": "總誤差是這三個數字平方相加,再開根號,也就是根號零點三零八四,大約零點五六公分。夾爪對四公分方塊的容許範圍,約正負一公分,大於零點五六公分,所以夾取大部分會成功,但仍然要用實驗驗證。", "item": 2 }
  ],
  "closing": [
   { "say": "好,這一章我們學了針孔相機與單應性,用顏色分割從影像找到物體,把像素座標換成桌面座標,最後看了視差、畸變和誤差預算。", "item": 0 },
   { "say": "接下來請完成本章的實作,再做章末小測驗,檢查自己學會了多少。下一章見。", "item": 1, "pause": 1 }
  ]
 }
}
