{
 "byKey": {
  "cover": [
   { "say": "大家好,歡迎回到從無到有打造 A I 機器人。這一章要談一個很熱門、也很需要小心的主題:讓大型語言模型,也就是 L L M,當機器人的任務規劃器。重點是白名單、驗證器,還有人工確認。", "item": 0 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#1": [
   { "say": "先用一個生活的例子,實習生的提案。", "item": 0 },
   { "say": "想像公司請一位反應很快、知識很廣的實習生,幫你把口頭指令整理成工作單。他多半做得很好,但偶爾會誤解、會漏看限制,甚至可能被一張寫著,請忽略主管規定的便條騙到。", "item": 1 },
   { "say": "聰明的做法不是禁止他提案,而是所有工作單都要經過一個照規則檢查的窗口,重大事項還要主管簽名。L L M 規劃器就是那位實習生,驗證器是檢查窗口,人工確認是主管簽名。", "item": 1 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#2": [
   { "say": "L L M 為什麼不可靠?我們從原理來看。", "item": 0 },
   { "say": "大型語言模型根據前面的文字,一個字一個字地預測,接下來最可能是什麼。所以生成過程本質上是機率性的。很多服務提供取樣溫度等參數,可以降低隨機性,但不保證相同輸入一定得到相同輸出,也不保證輸出符合你的格式與規則。", "item": 1 },
   { "say": "它沒有理解安全的內建機制,你寫的提示只是請求。此外,它會把輸入中的文字當成指令的一部分,所以來自環境的文字,像海報、網頁、他人訊息,可能夾帶惡意指令,這叫提示注入。", "item": 1 },
   { "say": "因此,必須把它的輸出,當作不被信任的輸入來處理。", "item": 1 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#3": [
   { "say": "這張圖是機率性輸出與確定性檢查的示意。", "item": 0 },
   { "say": "左邊,L L M 可能產生四種輸出,合法的、越界的、白名單外的,還有格式錯誤的。右邊是固定規則的驗證器,它只放行合法的,其餘全部拒絕。重點是,放行與否不靠運氣,而是靠固定的規則。", "item": 1 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#4": [
   { "say": "所以,我們用確定性的驗證器,用規則取代信任。", "item": 0 },
   { "say": "驗證器是普通的程式,檢查 JSON 格式、動作是否在白名單、參數是否在範圍、地點是否在清單。", "item": 1 },
   { "say": "規則固定,所以可以寫單元測試,同樣輸入永遠同樣結果。它不需要理解語意,只需要拒絕不符合規則的東西。", "item": 1 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#5": [
   { "say": "再來,多層防護。為什麼不只靠一層?", "item": 0 },
   { "say": "因為任何一層都可能有漏洞。把白名單、範圍檢查、人工確認、速度與工作區限制、獨立急停疊起來,危險要穿過每一層,才會造成傷害。", "item": 1 },
   { "say": "舉一個示意的數值例子,假設各層獨立,每層漏掉百分之十,三層都漏掉的機率是零點一乘三次,等於零點零零一,也就是百分之零點一。", "item": 1 },
   { "say": "但是,現實的各層常常不獨立,例如同一個設定錯誤,讓兩層一起失效。所以不能直接相乘當作保證,而且急停必須完全獨立於其他層。", "item": 1 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#6": [
   { "say": "這是多層防護的示意圖。", "item": 0 },
   { "say": "圖裡有五層,白名單、範圍檢查、人工確認、速度限制,和獨立急停。每一層各有漏洞,但疊在一起,才擋得住危險的輸入。", "item": 1 }
  ],
  "原理:為什麼 LLM 需要「安全閘」#7": [
   { "say": "我們用期望值,再看一個例子。", "item": 0 },
   { "say": "假設規劃器一天產生一千個動作提案,其中百分之一,也就是十個,是有問題的,越界或白名單外。如果驗證器能擋下百分之九十九,預期仍會漏過十乘零點零一,也就是零點一個。", "item": 1 },
   { "say": "所以還要靠人工確認,和執行階段的速度與區域限制,再擋一次。這也說明,你要擔心的是漏掉的那幾個,所以安全設計不能只看平均表現。", "item": 1 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#1": [
   { "say": "好,接下來看 L L M 規劃器的 node 架構,原則是,建議在外,控制在內。先看 L L M 在機器人裡能做什麼、不能做什麼。", "item": 0 },
   { "say": "大型語言模型擅長理解自然語言,並產生結構化的文字,例如把,幫我把文件送到實驗室,然後回充電座,整理成一串步驟。", "item": 1 },
   { "say": "但它會出錯、會編造、可能被惡意文字誘導,而且輸出沒有保證。所以在機器人系統裡,L L M 只適合當規劃和理解層,它提出建議的計畫,而不是直接控制機器人。", "item": 1 },
   { "say": "本章所有的設計,都服務一個原則:L L M 的輸出是不被信任的輸入,必須經過確定性的程式檢查,必要時還要人工確認,而急停永遠獨立於 A I。", "item": 1 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#2": [
   { "say": "我們來看整體架構。", "item": 0 },
   { "say": "圖和 node 的分工,下一頁會逐一說明。話題與名稱都是示例。", "item": 1 },
   { "say": "整條鏈從使用者指令開始,依序經過規劃、驗證、人工確認、執行,最後才到 Nav 二。", "item": 1 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#3": [
   { "say": "前三個 node 的分工。", "item": 0 },
   { "say": "第一個,user command node,接收文字指令,也可以是語音辨識後的文字,發布到 user command 這個 topic。", "item": 1 },
   { "say": "第二個,llm planner node,訂閱 user command,呼叫 L L M,發布計畫提案,是 JSON 字串。特別要注意,這個 node 沒有權限發布 cmd vel,也不直接呼叫 Nav 二。", "item": 2 },
   { "say": "第三個,plan validator node,訂閱計畫提案,依白名單與範圍檢查。不合格就拒絕並回報原因,合格就發布驗證後的計畫。", "item": 3 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#4": [
   { "say": "後三個 node 的分工。", "item": 0 },
   { "say": "第四個,confirm node,對中風險、高風險的動作,等待人工按確認,可以是按鈕、遙控器,或另一個輸入。逾時視為不同意。", "item": 1 },
   { "say": "第五個,task executor node,只執行已驗證且已確認的計畫,透過 Nav 二的動作介面一步一步執行,並且可以隨時取消。", "item": 2 },
   { "say": "第六個,是第三章學的速度指令鏈與急停,包括 twist mux、限速、看門狗,和獨立的急停。", "item": 3 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#5": [
   { "say": "我們看這張 L L M 任務規劃器的安全架構圖。", "item": 0 },
   { "say": "從左邊看,使用者指令進到 L L M 規劃 node,產生建議;建議再依序經過驗證器、人工確認、執行器和 Nav 二。圖上最重要的,是獨立的急停,它直接保護馬達與底盤,不經過這條鏈。", "item": 1 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#6": [
   { "say": "為什麼要拆成這樣?有四個好處。", "item": 0 },
   { "say": "第一,隔離。L L M node 被攻擊或亂說話時,最糟只是提出一個被驗證器拒絕的計畫。", "item": 1 },
   { "say": "第二,可測試。驗證器是普通的確定性程式,可以寫單元測試,不用呼叫 L L M。", "item": 2 },
   { "say": "第三,可替換。雲端 L L M、本機小模型、規則式規劃器,都只要輸出同樣格式的 JSON。", "item": 3 },
   { "say": "第四,可稽核。每個提案、驗證結果、確認與執行,都有紀錄。", "item": 4 }
  ],
  "LLM 規劃器的節點架構:建議在外、控制在內#7": [
   { "say": "資料格式也有原則:給 L L M 的是選單,不是任意權限。", "item": 0 },
   { "say": "請 L L M 只輸出符合固定格式的 JSON。", "item": 1 },
   { "say": "舉例,一個步驟清單,第一步是 go to,地點是 lab,第二步是 wait,等五秒,第三步是 go to,地點是 dock。", "item": 2 },
   { "say": "其中地點只能是你預先定義的名稱,也就是白名單,座標存在你的設定檔裡,L L M 看不到,也不能改。這比讓 L L M 輸出任意座標或任意指令,安全得多。", "item": 3 }
  ],
  "白名單動作介面與驗證器#1": [
   { "say": "接下來,白名單動作介面與驗證器。白名單的概念是,不是禁止危險的,而是只允許列出的。", "item": 0 },
   { "say": "每個動作要定義名稱、參數與限制,還有風險等級。範例有四個。第一個 go to,地點必須在地點清單內,風險是中。", "item": 1 },
   { "say": "第二個 wait,秒數零到三十秒,風險低。", "item": 2 },
   { "say": "第三個 say,只能是預先寫好的訊息代碼,或限制長度的文字,不含個資,風險低。", "item": 3 },
   { "say": "第四個 cancel,取消目前任務,風險低,而且永遠允許。不在白名單的動作,例如執行 shell、設定速度上限、打開夾爪、任意座標移動,一律拒絕。", "item": 4 }
  ],
  "白名單動作介面與驗證器#2": [
   { "say": "這是動作風險分級表。", "item": 0 },
   { "say": "表裡分三類。低風險的動作可以自動執行;中風險需要人工確認;高風險或禁止的動作,一律拒絕,或由負責人當面操作。風險分級由你的場域與風險評估決定,圖只是範例。重點是,決定風險等級的是你的程式與負責人,不是 L L M。", "item": 1 }
  ],
  "白名單動作介面與驗證器#3": [
   { "say": "我們來看驗證器,這是可以直接測試的純 Python。", "item": 0 },
   { "say": "整個驗證器的流程是這樣。先解析 JSON,不是合法 JSON 就拒絕;再檢查有沒有步驟清單、是不是空的,步驟數有上限六步。接著逐步檢查,動作名稱要在白名單,地點要在清單,等待秒數要在零到三十秒。最後,把通過檢查的步驟整理成乾淨的版本。這裡的地點座標是虛構的。", "item": 0 },
   { "say": "整理時,只複製已知欄位,也就是地點、秒數和文字,多餘欄位丟棄。", "item": 2 },
   { "say": "有任何問題,就整份計畫拒絕,不要挑能做的做,否則使用者會以為做了整件事。", "item": 3 },
   { "say": "還有細節。布林值在 Python 是整數的子類別,要排除真與假被當成數字。", "item": 4 },
   { "say": "不是數字、無限大、負數都要擋,範圍比較自然會擋掉 NaN。", "item": 5 }
  ],
  "白名單動作介面與驗證器#4": [
   { "say": "驗證器最後一個細節。", "item": 0 },
   { "say": "座標從你的設定查表,不接受 L L M 給的座標。這樣即使 L L M 被誘導,它也不能把機器人導到沒有登記的地方。", "item": 1 }
  ],
  "白名單動作介面與驗證器#5": [
   { "say": "畫面上是驗證器程式的前半段。", "item": 0 },
   { "say": "第一行匯入 json 模組。", "item": 1 },
   { "say": "第二行定義地點清單,三個地點 lab、door、dock,對應的座標都是虛構的,真實的座標應存在你的設定檔。", "item": 2 },
   { "say": "第三行開始定義動作表,每個動作有自己的風險等級。", "item": 3 }
  ],
  "白名單動作介面與驗證器#6": [
   { "say": "接著是驗證器程式的下一段。", "item": 0 },
   { "say": "動作表在這裡結束。", "item": 1 },
   { "say": "最多六個步驟。", "item": 2 },
   { "say": "每次等待最多三十秒。", "item": 3 },
   { "say": "再來是 validate plan 這個函式,它接收模型輸出的文字,不信任輸入,任何不明確就拒絕,回傳計畫或問題清單。", "item": 4 }
  ],
  "白名單動作介面與驗證器#7": [
   { "say": "最後是呼叫 L L M 的函式,這裡只定義介面。", "item": 0 },
   { "say": "它回傳模型輸出的文字,實作依你選用的雲端服務或本機模型而異。", "item": 1 },
   { "say": "金鑰來自環境變數,不寫在程式碼裡;沒有設定金鑰就直接報錯。", "item": 2 },
   { "say": "函式本身定義成接收使用者文字、回傳字串。金鑰不要寫進程式碼、launch 檔、bag 檔或公開版本庫,權限設定成最小,日誌裡也不要印出金鑰。", "item": 3 }
  ],
  "人工確認、獨立急停與部署取捨#1": [
   { "say": "好,最後一個單元,人工確認、獨立急停與部署取捨。先看人工確認,誰按下執行?", "item": 0 },
   { "say": "當計畫包含會讓機器人移動的動作,執行前先把即將做的事,用白話顯示給人。例如,將前往實驗室、門口、充電座,預估三分鐘,由負責人按確認。設計要點有五個。", "item": 0 },
   { "say": "第一,顯示的是驗證器整理後的計畫,不是 L L M 的原文。", "item": 1 },
   { "say": "第二,確認要有逾時,例如三十秒沒人按就作廢,不是預設同意。", "item": 2 },
   { "say": "第三,確認者要看得見機器人與周圍環境,最好在現場。", "item": 3 },
   { "say": "第四,高風險動作,例如改變安全設定,根本不提供這種通道,而不是確認就能做。", "item": 4 },
   { "say": "第五,確認介面本身,不要讓 L L M 能代為按下。", "item": 5 }
  ],
  "人工確認、獨立急停與部署取捨#2": [
   { "say": "這是人工確認的流程圖。", "item": 0 },
   { "say": "驗證後的計畫顯示給負責人,按確認才會執行;拒絕或逾時,計畫就作廢。而且,不論在流程的哪個階段,急停都可以中止一切。", "item": 1 }
  ],
  "人工確認、獨立急停與部署取捨#3": [
   { "say": "接下來是急停,永遠獨立於 A I。這是設計原則,重複強調,因為它最重要。", "item": 0 },
   { "say": "硬體急停,是能直接切斷馬達驅動電源的開關或繼電器,不經過任何軟體。", "item": 1 },
   { "say": "軟體急停,是獨立的小 node,監聽按鈕或指令,發布零速度,並讓限速 node 拒絕輸入。它不依賴 L L M、網路或 Nav 二。", "item": 2 },
   { "say": "L L M 和驗證器,沒有能力解除急停,解除要由人在現場操作。", "item": 3 },
   { "say": "急停被觸發時,執行器要中止計畫並回到待命,不能在解除之後自動接續執行。", "item": 4 }
  ],
  "人工確認、獨立急停與部署取捨#4": [
   { "say": "急停還有最後一點。", "item": 0 },
   { "say": "要定期測試。每次部署前按一次急停,量測停止所需的時間。", "item": 1 }
  ],
  "人工確認、獨立急停與部署取捨#5": [
   { "say": "即使計畫通過了,執行階段仍然需要保護。", "item": 0 },
   { "say": "第一,速度上限與工作區限制,靠限速 node,以及 Nav 二的地圖與虛擬牆。", "item": 1 },
   { "say": "第二,逾時與進度監看,導航超過預估時間太多,就取消。", "item": 2 },
   { "say": "第三,感測器失效時停車,雷達或定位逾時,就停止。", "item": 3 },
   { "say": "第四,電量低於門檻時中止,並回充電座或待命。", "item": 4 },
   { "say": "第五,每一步執行前後都記錄日誌,包括時間、步驟、結果,便於事後檢討。", "item": 5 }
  ],
  "人工確認、獨立急停與部署取捨#6": [
   { "say": "最後談部署的取捨,雲端或離線?", "item": 0 },
   { "say": "雲端模型,能力強,不需要本機算力。但需要網路,斷線就失效;有延遲與費用,請以供應商最新資訊為準;資料會離開機器人,包括語音或文字,可能涉及隱私。", "item": 1 },
   { "say": "本機或離線模型,資料不離開,也不依賴網路。但算力與記憶體有限,能力與穩定度需要自行實測。", "item": 2 },
   { "say": "混合的做法,是本機處理簡單指令與安全相關判斷,雲端只做可降級的功能。", "item": 3 },
   { "say": "無論哪一種,系統都必須在 L L M 完全不可用時,仍能安全運作,例如維持手動遙控、可靠停車。L L M 失效,只代表不能聽懂新任務。", "item": 3 }
  ],
  "人工確認、獨立急停與部署取捨#7": [
   { "say": "這是同一張安全架構圖,再次提醒。", "item": 0 },
   { "say": "L L M 位於系統的邊緣,驗證與急停都在它之外。不論用雲端還是離線模型,這個位置關係都不能變。", "item": 1 }
  ],
  "closing": [
   { "say": "好,這一章我們學了為什麼 L L M 需要安全閘、節點怎麼拆分、白名單與驗證器怎麼寫,還有人工確認和永遠獨立於 A I 的急停。請記得,L L M 只提出建議,不直接控制機器人。", "item": 0 },
   { "say": "請接著完成本章的實作,並做章末小測驗。下一章見。", "item": 1, "pause": 1 }
  ]
 }
}
