{
 "byKey": {
  "cover": [
   {
    "say": "大家好,歡迎回到從無到有打造 A I 機器人。這一章,我們要讓機器人聽得懂人話。會學到語音怎麼變成文字、語音輸入輸出怎麼取捨、大型語言模型當規劃層,最重要的是,怎麼安全地下指令。",
    "item": 0
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#1": [
   {
    "say": "先用一個生活類比,聽寫與翻譯官。",
    "item": 0
   },
   {
    "say": "語音辨識像一位聽寫員。他把聽到的聲音寫成文字,但是在吵雜的環境,或是遇到同音字的時候,會寫錯,所以他有時要回問,你剛剛說的是這個嗎?",
    "item": 1
   },
   {
    "say": "語言模型則像一位很會接話的翻譯官。你說往前走一點,他能翻成機器人看得懂的指令,但他是靠這句話後面通常接什麼的經驗來猜,偶爾會講錯,或被人話術帶偏。",
    "item": 1
   },
   {
    "say": "所以你不會讓翻譯官直接開車,而是要他把意思寫在表單上,由駕駛,也就是你的程式,檢查之後再動手。",
    "item": 1
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#2": [
   {
    "say": "原理一,語音辨識的流程,我們分兩頁看。",
    "item": 0
   },
   {
    "say": "第一步,取樣。麥克風把聲波轉成數位訊號,常見是十六千赫茲,也就是每秒一萬六千個點。",
    "item": 1
   },
   {
    "say": "第二步,切成短片段,英文叫 frame。例如每二十五毫秒一格,每次移動十毫秒。",
    "item": 2
   },
   {
    "say": "第三步,抽取特徵。把每一格轉成跟頻譜相關的特徵,例如 mel 頻譜,就像聲音的指紋。",
    "item": 3
   },
   {
    "say": "第四步,聲學模型,把特徵對應到可能的音。",
    "item": 4
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#3": [
   {
    "say": "第五步,解碼與語言模型。結合哪些字詞接在一起比較合理,選出最可能的文字。",
    "item": 1
   },
   {
    "say": "來看數值例。十六千赫茲、十六位元、單聲道,錄音三秒的資料量,是一萬六千乘二個位元組,再乘三,等於九萬六千位元組,大約九十四 K B。",
    "item": 1
   },
   {
    "say": "二十五毫秒一格,有四百個取樣點,每十毫秒前進一格,三秒大約有三百格特徵。這也說明了,為什麼離線辨識在樹莓派上需要時間,因為每一格都要經過模型計算。",
    "item": 1
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#4": [
   {
    "say": "這張是語音辨識的流程圖。",
    "item": 0
   },
   {
    "say": "從左到右依序是,麥克風取樣、切成短片段、抽取特徵、聲學模型、解碼加語言模型,最後輸出文字,和信心分數。圖上也提醒,信心不足的時候,應該請對方重說。",
    "item": 1
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#5": [
   {
    "say": "原理二,語言模型是機率性的。",
    "item": 0
   },
   {
    "say": "大型語言模型,根據前面的文字,預測下一個最可能的片段,一段一段接下去。它輸出的是機率最高,或依機率抽樣的文字,而不是依規則推導出來的保證結果。",
    "item": 1
   },
   {
    "say": "因此,同一句話可能得到不同的輸出。輸出可能格式錯誤、數值超出範圍,甚至包含你沒定義的動作。外部文字裡的指令,也可能被模型當成要執行的事,這叫提示注入。",
    "item": 1
   },
   {
    "say": "舉個示意的假設。假設模型有百分之一的機率,輸出超出範圍的數值,系統每天處理一百道指令。平均每天大約會出現一百乘零點零一,等於一次超出範圍的指令。這一次如果直接送到馬達,就是一次事故。",
    "item": 2
   },
   {
    "say": "檢查層的作用,就是把這種小機率,但真的會發生的事,擋在馬達之前。這個機率只是用來說明的假設,不代表任何模型的實測。",
    "item": 2
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#6": [
   {
    "say": "這張圖,說明語言模型的輸出是機率性的。",
    "item": 0
   },
   {
    "say": "同一句往前走一點,可能得到合理的前進三十,也可能得到超出範圍的前進三百,可能是不在白名單的動作,也可能是根本不是 JSON 的回覆。圖上表示,安全閘能攔下這些不合格的輸出。",
    "item": 1
   }
  ],
  "原理:語音如何變成文字,語言模型為何需要安全閘#7": [
   {
    "say": "最後一個觀念,為什麼安全閘必須寫在程式裡?",
    "item": 0
   },
   {
    "say": "提示詞是請求,模型可能沒遵守。檢查層是規則,每次都以相同的方式執行,而且可以測試。",
    "item": 1
   },
   {
    "say": "所以安全規則,像是白名單、數值範圍、工作區、速度上限,都要寫在你的程式碼裡,而急停則是獨立於整條流程之外。",
    "item": 1
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#1": [
   {
    "say": "好,來看語音輸入與輸出。為什麼要加入語音?",
    "item": 0
   },
   {
    "say": "因為用說的比用鍵盤方便,尤其是機器人在地上跑,你的手又拿著別的東西的時候。語音互動由三件事組成,把聲音變成文字,是語音辨識,理解文字想表達什麼,是本章後半談的語言模型,把回應變成聲音,是語音合成。",
    "item": 1
   },
   {
    "say": "這一章的重點不只是怎麼做,更是怎麼安全地做。聽錯、聽到別人說話、被惡意語音誤導,都不能讓機器人做出危險的動作。",
    "item": 1
   },
   {
    "say": "先看硬體。樹莓派沒有內建麥克風輸入,需要 U S B 麥克風,或音訊擴充板。喇叭可以用 U S B 喇叭,或音訊擴充板。",
    "item": 2
   },
   {
    "say": "先用系統工具確認。arecord 加減號 l,列出錄音裝置。再用 arecord 指定裝置、格式、取樣率和長度,錄三秒的聲音,裝置編號依你的設備而異。最後用 aplay 播放。",
    "item": 3
   },
   {
    "say": "另外,馬達會產生電氣和機械的噪音,麥克風要遠離馬達,或是在說話的時候暫停馬達,也就是聽的時候先 stop。",
    "item": 4
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#2": [
   {
    "say": "接下來,語音辨識的選擇,英文簡稱 A S R。",
    "item": 0
   },
   {
    "say": "離線,也就是本機辨識,例如 Vosk、whisper.cpp,或同類的本機語音辨識專案。優點是不用網路,語音不離開機器人。",
    "item": 1
   },
   {
    "say": "缺點是小模型的準確度有限,而且樹莓派的運算力有限,辨識可能要花數秒。各專案支援的語言,包括中文,還有模型大小、效能,依版本與硬體而異,請查閱專案文件並實測。",
    "item": 1
   },
   {
    "say": "雲端辨識,是把錄音送到服務,通常準確度比較好、支援的語言比較多,但是需要網路、可能計費,語音會傳出去。",
    "item": 2
   },
   {
    "say": "還有喚醒詞與按鈕。持續錄音並且一直上傳,是隱私的風險。常見做法是按一下按鈕才聽,英文叫 push to talk,例如接在 G P I O。或是用本機的喚醒詞偵測,偵測到了才開始處理。",
    "item": 3
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#3": [
   {
    "say": "這張是離線與雲端的取捨比較表。",
    "item": 0
   },
   {
    "say": "表中從六個面向做定性的比較,分別是延遲、隱私、離線可用性、成本、能力與準確度,還有金鑰與安全。",
    "item": 1
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#4": [
   {
    "say": "再來是語音合成,英文簡稱 T T S。",
    "item": 0
   },
   {
    "say": "離線的,例如 espeak-ng,聲音偏機械,但是很輕量。還有 Piper 這一類的本機 T T S 專案,聲音自然度、中文支援,依專案和模型而異。",
    "item": 1
   },
   {
    "say": "雲端的音質通常比較好,但是需要網路和金鑰。",
    "item": 2
   },
   {
    "say": "機器人用語音回報狀態很有用,例如前方有障礙物,或電量低,準備停車。這些固定的句子,可以預先合成成音檔,播放時不需要即時運算,也不需要網路。",
    "item": 2
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#5": [
   {
    "say": "接著整理離線與雲端的實務取捨,分兩頁。",
    "item": 0
   },
   {
    "say": "第一,隱私。家裡、教室、公共場所的語音,可能包含他人,能留在本機就留在本機。如果用雲端,要告知並取得同意,並檢查服務的資料保留規定。",
    "item": 1
   },
   {
    "say": "第二,延遲。雲端受網路影響,離線受樹莓派效能影響。兩者都要實測,從說完到開始動作的時間。",
    "item": 2
   },
   {
    "say": "第三,可靠度。斷網的時候,機器人不能整個失效。基本指令,像是停、前進、後退,應該能在本機處理。",
    "item": 3
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#6": [
   {
    "say": "第四,成本與金鑰。雲端服務通常有用量與費用,金鑰不能寫進程式碼,也不能上傳到公開的倉庫,下一個單元會談到。",
    "item": 1
   },
   {
    "say": "第五,準確度。辨識錯誤是常態,不是例外。要設計成聽不清楚就請對方再說一次,不要硬猜。",
    "item": 2
   }
  ],
  "語音輸入與輸出:辨識、合成與離線雲端取捨#7": [
   {
    "say": "最後,是安全設計,聽錯與誤觸發,分兩頁來看。先看前四點。",
    "item": 0
   },
   {
    "say": "第一,辨識結果如果有信心分數,或有幾個候選,低於門檻就不執行,並且用語音回覆,我沒聽清楚。",
    "item": 1
   },
   {
    "say": "第二,停、停止、stop 這一類的停車詞,應該由本機的關鍵字偵測直接處理,不經過語言模型,也不需要等網路。",
    "item": 2
   },
   {
    "say": "第三,電視或旁人的話,可能被誤判為指令。所以要限定,只在按下按鈕之後的五秒內,接受指令。",
    "item": 3
   },
   {
    "say": "第四,小孩或寵物在場的時候,更要保守,速度限制要更低。",
    "item": 4
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#1": [
   {
    "say": "第二個單元,大型語言模型當規劃層。語言模型能做什麼、不能做什麼?",
    "item": 0
   },
   {
    "say": "大型語言模型,擅長理解自然語言,例如把去那邊看一下然後回來,整理成幾個步驟。",
    "item": 1
   },
   {
    "say": "但是它的輸出,是機率上看起來合理的文字,可能出錯、可能漏掉條件、可能被話術誘導,而且同樣的輸入,不保證每次輸出都相同。",
    "item": 1
   },
   {
    "say": "所以在機器人上,語言模型只適合當規劃與理解層。它提出建議,不直接控制馬達。本課程不宣稱任何特定模型的能力,也不依賴特定的服務。",
    "item": 1
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#2": [
   {
    "say": "這張是語音與語言模型的安全架構圖。",
    "item": 0
   },
   {
    "say": "請從左往右看。麥克風語音辨識產生文字,語言模型輸出 JSON 提案,這個提案要經過安全檢查層,才能送到動作執行器與馬達。另外有一條獨立的急停與安全監督,直接切斷馬達,完全不經過語言模型。",
    "item": 1
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#3": [
   {
    "say": "讓模型輸出結構化的提案。",
    "item": 0
   },
   {
    "say": "不要讓模型輸出一句話,然後自己去解析。要求它輸出固定的格式,例如 JSON,並且明確定義可用的動作。",
    "item": 1
   },
   {
    "say": "提示詞再嚴謹,也不能保證模型一定遵守,所以程式端必須假設它可能不遵守。提示詞是請求,檢查層才是保證。",
    "item": 2
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#4": [
   {
    "say": "下面是系統提示的示意。",
    "item": 0
   },
   {
    "say": "意思是這樣。",
    "item": 1
   },
   {
    "say": "你是機器人的指令規劃器,只能輸出 JSON 陣列,每個元素有 action 和 value 兩個欄位。",
    "item": 2
   },
   {
    "say": "action 只能是 forward、backward、rotate、stop 其中之一。",
    "item": 3
   },
   {
    "say": "不要輸出任何其他文字。",
    "item": 4
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#5": [
   {
    "say": "接著看 Python 骨架,畫面上的程式分兩頁拆開看,這裡先講整體。",
    "item": 0
   },
   {
    "say": "有一個函式,先把使用者的文字交給語言模型,依你選用的服務而定,而且務必設定逾時。拿到回覆後,嘗試解析成 JSON。如果不是合法的 JSON,就拒絕。如果解析出來不是一個清單,也拒絕。通過了,才回傳計畫。",
    "item": 1
   },
   {
    "say": "如果計畫是沒有,就用語音說,我沒有理解,請再說一次。",
    "item": 2
   },
   {
    "say": "否則,就逐一檢查再執行,這在下一個單元會說明。要注意,解析 JSON 的時候可能丟出例外,模型也可能輸出多餘的文字、markdown 標記,或缺少欄位,這些都要當成錯誤處理。",
    "item": 3
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#6": [
   {
    "say": "程式的前半段。",
    "item": 0
   },
   {
    "say": "先匯入 json 模組。",
    "item": 1
   },
   {
    "say": "定義從文字產生計畫的函式。",
    "item": 2
   },
   {
    "say": "再用一句話測試,往前走三十公分然後向左轉。",
    "item": 3
   }
  ],
  "大型語言模型當規劃層:輸出 JSON 提案#7": [
   {
    "say": "程式的後半段。",
    "item": 0
   },
   {
    "say": "如果計畫是沒有,就請使用者再說一次。",
    "item": 1
   },
   {
    "say": "否則,交給 run plan 去檢查並執行。",
    "item": 2
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#1": [
   {
    "say": "最後一個單元,安全檢查層。先看檢查層的原則。",
    "item": 0
   },
   {
    "say": "前一個單元說過,模型的輸出不可信。檢查層,就是讓不可信的輸入,變得可用的那道關卡。設計原則有四條。",
    "item": 0
   },
   {
    "say": "第一,預設拒絕,英文叫 default deny。不在白名單的,一律拒絕。",
    "item": 1
   },
   {
    "say": "第二,檢查在程式裡,不在提示詞裡。",
    "item": 2
   },
   {
    "say": "第三,檢查層要簡單、可測試,不依賴任何 A I。",
    "item": 3
   },
   {
    "say": "第四,急停與安全監督,永遠獨立於整條語言流程。",
    "item": 4
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#2": [
   {
    "say": "這張是指令檢查的流程圖。",
    "item": 0
   },
   {
    "say": "請依序看。先檢查能不能解析成 JSON,再檢查動作是否在白名單,然後檢查參數是否齊全,數值是否在範圍內,是否超出工作區,還有是不是高風險動作,需要人工確認。全部通過,才以限速執行。",
    "item": 1
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#3": [
   {
    "say": "檢查項目一共有七項,分兩頁。先看前三項。",
    "item": 0
   },
   {
    "say": "第一,格式。能不能解析、欄位是否齊全、型別是否正確。數字就是數字,不是字串,也不是 NaN。",
    "item": 1
   },
   {
    "say": "第二,白名單。動作名稱必須在允許的集合內。例如只允許 forward、backward、rotate、stop。",
    "item": 2
   },
   {
    "say": "第三,數值範圍。每個動作都要定義最小與最大值。例如 forward 的距離是一到一百公分,rotate 的角度是負一百八十到一百八十度。",
    "item": 3
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#4": [
   {
    "say": "接著是後四項。",
    "item": 0
   },
   {
    "say": "第四,速度上限。不管模型要求多快,執行時一律使用程式裡的上限,例如百分之四十。",
    "item": 1
   },
   {
    "say": "第五,工作區。依里程計估計的位置,預測執行後會不會離開允許範圍,例如二公尺乘二公尺的測試區。超出就拒絕。",
    "item": 2
   },
   {
    "say": "第六,風險分級。低風險,像是短距離、低速,可以自動執行。高風險,像是連續多個動作、靠近邊緣,要語音或按鈕確認。",
    "item": 3
   },
   {
    "say": "第七,總量限制。一次計畫最多 N 個動作,例如八個,避免超長的計畫。",
    "item": 4
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#5": [
   {
    "say": "來看 Python 範例,下面兩頁會逐段看,這裡先講重點。",
    "item": 0
   },
   {
    "say": "第一段,是一張動作表。forward 的距離是一到一百公分,backward 是一到五十公分,rotate 是負一百八十到一百八十度,stop 固定是零。",
    "item": 1
   },
   {
    "say": "第二段是檢查單一步驟的函式。先確認格式是字典,再確認動作名稱在白名單內,再確認 value 是數字,而且不是布林值,最後確認在範圍之內。任何一項不通過,就回傳失敗和原因。",
    "item": 2
   },
   {
    "say": "第三段是執行計畫。先檢查計畫有沒有超過步數上限。再逐步驗證,只要有一步不合格,就記錄日誌、用語音說這個指令不安全、已停止,然後停車並離開,整個計畫都取消。通過的步驟,才用速度上限去執行。",
    "item": 3
   },
   {
    "say": "請特別注意,有一步不合格的時候,整個計畫都不執行,比只跳過那一步更安全,因為剩下的步驟,是建立在被跳過那一步的前提上的。更好的做法是,先檢查整個計畫都通過了,才開始執行第一步。",
    "item": 3
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#6": [
   {
    "say": "程式的第一頁,是動作表和常數。",
    "item": 0
   },
   {
    "say": "動作表就是剛剛的白名單,每個動作對應它的最小和最大值。",
    "item": 1
   },
   {
    "say": "表格到這裡結束。",
    "item": 2
   },
   {
    "say": "步數上限是八。",
    "item": 3
   },
   {
    "say": "速度上限是四十。",
    "item": 4
   }
  ],
  "安全檢查層:白名單、範圍、工作區與急停#7": [
   {
    "say": "程式的第二頁。",
    "item": 0
   },
   {
    "say": "先定義工作區,四個數字分別是 x 與 y 的最小和最大,單位是公分,這個例子是二公尺乘二公尺。",
    "item": 1
   },
   {
    "say": "接著是驗證單一步驟的函式,檢查格式、白名單、數值與範圍。",
    "item": 2
   },
   {
    "say": "最後是執行計畫的函式,先檢查步數,再逐步驗證,不合格就整個取消,通過才限速執行。",
    "item": 3
   }
  ],
  "closing": [
   {
    "say": "這一章先到這裡。我們學了語音辨識與合成、語言模型只當規劃層、提案要輸出 JSON,還有最重要的安全檢查層。記得,安全規則寫在程式裡,急停永遠獨立。",
    "item": 0
   },
   {
    "say": "接下來,請完成實作,再做章末小測驗,看看自己學會了多少。我們下一章見!",
    "item": 1,
    "pause": 1
   }
  ]
 }
}