WalkerGuard-EmbeddedSystem

一、 摘要

這個專題的出發點是希望讓交通執法更加即時與精準。 我們設計並完成了 WalkerGuard-EmbeddedSystem —— 一套以 NVIDIA Jetson Nano 為核心的智慧交通違規取締系統。

透過 TensorRT 模型加速、雙視角追蹤 (Homography) 與 高速車牌捕捉，系統能即時偵測「車輛未禮讓行人」的違規行為，並自動完成取證。

整合的模組包含：

• CoreML 車牌辨識 (Swift App)
• PaddleOCR 車牌比對
• YOLOv8 + TensorRT 的行人與車輛偵測
• Homography 跨視角追蹤技術

二、 研究動機與研究問題

行人過馬路未被禮讓，是導致事故的常見原因。但傳統監控受限於單一視角，常無法提供完整取證。 因此我們設定三個挑戰：

1. 突破視角限制：結合地面與空中雙視角，進行協同追蹤。
2. 強化辨識能力：高速車牌捕捉 + 行人行為偵測。
3. 提升即時性：模型必須能在嵌入式裝置即時推理。

三、 文獻回顧與探討

我們參考了以下技術：

• YOLO 系列：物件偵測主流模型，適合即時偵測。
• VisDrone：公開空拍影像資料集，幫助我們做多視角實驗。
• CoreML：讓 iPhone 端能本地化辨識，不依賴網路。
• Homography：將不同攝影視角的座標投影到同一平面。
• PaddleOCR：高效能開源 OCR 框架，用於車牌辨識。

四、 方法及步驟

系統設計

我們先規劃了系統的模型訓練與部署流程，並設計了完整的架構：

模型 COREML TENSORRT 量化介紹圖

系統架構圖

1. 多視角回追演算法

系統結合 Homography 投影轉換，將空拍與地面影像的車輛座標對齊到同一平面，進行軌跡比對。 當系統偵測到疑似違規事件時，會透過 Socket 通知 iPhone，並比對歷史車牌紀錄。

Homography

這讓我們突破了單一視角的限制，大幅提升追蹤準確性。

2. 高速車牌捕捉

高速行駛的車輛往往讓一般攝影機拍到的車牌模糊。 我們透過 光學原理 + 手動快門控制，確保能捕捉到清晰的車牌，為後續辨識建立基礎。

3. 車牌辨識模組

車牌辨識分為兩部分：

• CoreML 模型（Swift App）
  • YOLOv8n 訓練 (自拍資料集) → CoreML 量化。
  • iPhone App 直接捕捉並辨識車牌，無需網路或額外電源。
  • 為了避免模糊，我們還特別設定了相機的高速快門。
• PaddleOCR
  • 負責辨識與比對捕捉到的車牌文字。
  • 能將 CoreML 偵測到的車輛影像，進一步確認身份。

4. 載具與行人偵測

在 Jetson Nano 上，我們部署了 YOLOv8n + TensorRT 量化模型：

• 行人偵測：判斷行人是否在「等待」或「穿越」。
• 車輛偵測：分析車輛軌跡，與行人動態比對，判斷是否違規。
• 量化優化：使用 VisDrone 資料集訓練，TensorRT 加速推理，確保 Nano 能即時處理。

各種行為偵測狀態

五、 違規判斷規則

無號誌場景

• 規範：車輛必須禮讓正在等待或穿越的行人。
• 違規：若車輛在有人等待或穿越時仍通過，即為違規。

有號誌場景

• 綠燈：斑馬線有人，車輛應禮讓；若直接通過即為違規。
• 紅燈：車輛不得通過斑馬線；若斑馬線或等待區有人時仍通過，即為違規。

六、 實作結果

我們的成果包括：

1. 即時性：TensorRT 加速讓 YOLO 模型在 Nano 上流暢運行。
2. 多視角追蹤：Homography 成功整合空地雙視角。
3. 車牌清晰度：快門控制讓高速車輛車牌可清楚辨識。
4. 雙模組車牌辨識：CoreML + PaddleOCR 提升準確率。
5. 違規判斷：結合行人與車輛軌跡，能準確取締未禮讓行人。