AI 偵測
雲瞰 內建 8 類偵測:運動 → 物體 → 人臉 / 車牌 / 跌倒 / 包裹 / 手勢 / 音訊(嬰兒哭聲)。本章講解偵測順序、參數怎麼調、人臉庫管理、敏感區域,以及加速後端的選擇。
偵測順序
每路攝影機獨立偵測,預設按 5 影格/秒節流(可調)。偵測順序由上而下:前一步過不了就跳過後面所有步驟,節省算力:
- 運動偵測:先看影格間差異,沒動就跳過後面所有步驟(最便宜的濾波器)
- 物體偵測:框出人 / 車 / 動物等 80 種常見物體
- 目標追蹤:給每個物體標上 ID,避免同一個人觸發多次事件
- 精細辨識(可選並行):人臉辨識、車牌辨識、姿態 / 跌倒
- 事件入庫:達到閾值 + 不在冷卻期 → 寫入事件,觸發推播 / 自動化
加速後端選哪個
映像檔 tag 決定 AI 用哪種硬體加速。安裝時一次性選定——不同變體裝的是不同的 onnxruntime wheel(cpu / openvino-gpu / cuda),執行期不能熱切換。要換後端就要拉對應變體的映像檔重新 docker compose up -d。
| 後端 | 硬體 | 10 路 5fps 大致 CPU 佔用 |
|---|---|---|
| cpu | 純 CPU | 70–90% 4 核心 |
| openvino | Intel 內顯 / NPU 11 代+ | 20–40% |
| cuda | NVIDIA 顯示卡 | 8–15% + GPU 50% |
| trt | NVIDIA 顯示卡(最快) | 5–10% + GPU 30%(首次啟動需要 ~3min 模型最佳化) |
運動偵測
預設開啟。靈敏度越高越敏感,太高會被風吹樹葉 / 陰影飄過觸發;太低小孩慢慢走會漏偵測。建議從預設值開始,依照誤報情況往兩邊微調。
物體偵測
能辨識 80 種常見物體,常用:人 / 車 / 腳踏車 / 機車 / 公車 / 卡車 / 貓 / 狗 / 鳥。事件頁面有篩選框可以只看你關心的類別。
人臉辨識
需要先建立人臉庫:網頁後台 → 人臉 → 新增。每個人上傳 3–5 張正臉照(不同光照 / 角度),系統擷取臉部特徵存進資料庫。偵測時用相似度比對。
- 已知人臉:辨識到時事件標記為「<姓名> 出現」
- 陌生人:辨識到但庫裡沒比對上 → 標記為「陌生人」
- 無人臉:物體偵測辨識到人,但相機角度看不到臉 → 標記為「行人」
光照差辨識率會下降
車牌辨識
國內藍牌 / 綠牌 / 黃牌都支援。車庫 / 院子門口裝一台對著車道方向的相機,辨識率好的話可以做「自家車回來自動開門」之類的自動化。
跌倒偵測(獨居長者)
三層判定避免誤報:
- 單影格躺姿:判斷目前姿態像「躺」
- 連續多影格確認:連續若干影格裡都是躺姿,過濾短暫蹲下 / 彎腰
- 下落速度門控:從「站」到「躺」的速度夠快,過濾「主動躺下」(如躺沙發睡覺)
建議裝在客廳 / 臥室
敏感區域與絆線
預設整個畫面都參與偵測。想「只關心進院子的人,不管馬路上路過的」,就在畫面上圈一塊區域。入口:裝置管理 → 那台攝影機 → 「偵測區域」(專業版功能)。共四種:
- 事件區 —— 目標進入時觸發「進入區域」「徘徊」「超速」事件
- 偵測區 —— 只有落在區內的目標才算數
- 忽略區 —— 區內的目標直接丟掉(老晃的樹、一直在播的電視)
- 跌倒忽略區 —— 區內不報跌倒,但人照常偵測、人臉照常識別(沙發)
同一個頁面裡還能畫絆線,判斷目標往哪個方向穿過一條線,用來區分「回家 / 離家」。
怎麼畫、參數怎麼調
同一個頁面裡還能畫絆線,判斷目標往哪個方向穿過一條線,用來區分「回家 / 離家」。
怎麼畫、參數怎麼調
閾值與冷卻時間
設定 → 偵測 全域調整,每台相機也可單獨覆蓋。常用:
| 參數 | 預設 | 調高的副作用 | 調低的副作用 |
|---|---|---|---|
| 物體信心閾值 | person 0.40 / vehicle 0.30 / 其他 0.25 | 漏偵測 | 誤報變多 |
| 人臉相似度閾值 | 0.5 | 漏辨識 | 認錯人 |
| 事件冷卻(秒) | 120(人臉)/ 30(音訊)/ 5(手勢) | 漏事件 | 通知轟炸 |
| 跌倒下落速率閾值 | 0.6 (bbox 高度正規化 / 秒) | 漏跌倒 | 誤把躺沙發當跌倒 |
包裹偵測(快遞到家)
門口相機辨識到「快遞/紙箱」類物體並穩定停留若干秒後觸發「包裹送達」事件;離開後觸發「包裹被取走」。搭配自動化可以做「快遞到了推播通知 + TTS 喊話」。需要在 網頁後台 → 設定 → 偵測 手動啟用(預設關閉,且需要 skyview-package.onnx 模型——商業映像檔已內建)。
手勢辨識
在 person 物體框基礎上對人手做手勢辨識,預設啟用 6 個常用手勢:like(讚)/ ok / peace(V 手勢)/ palm(手掌)/ stop(停止)/ fist(拳頭)。可在 設定 → 偵測 → 手勢 中開關。搭配自動化可以做「對相機比 SOS 手勢 → 推播警報」。
需要 NVIDIA GPU
skyview-gesture.onnx 模型,純 CPU 跑會明顯拖慢主要偵測流程。音訊偵測(嬰兒哭聲)
雲瞰 內建 BC-ResNet 嬰兒哭聲辨識(skyview_audio_cry),每 1 秒滑動視窗對 2 秒音訊片段做一次推理,命中後觸發「嬰兒哭聲」事件。需要相機有麥克風且 RTSP 串流帶音軌。預設關閉,在 設定 → 偵測 → 音訊 中啟用。
環境噪音容易誤報
關閉部分偵測
經驗值:6GB 顯示卡跑完整偵測流程(物體 + 人臉 + 跌倒 + 包裹 + 手勢 + 音訊)大約能穩定跑 6–8 路 1080p 子串流。要放更多路,可以在每台相機詳情裡關掉用不到的(比如門口相機不需要跌倒偵測,關掉即可);也可以全域關閉某類(設定 → 偵測 → 啟用項目)。
這篇文件有幫助嗎?