AI 偵測

雲瞰 內建 8 類偵測:運動 → 物體 → 人臉 / 車牌 / 跌倒 / 包裹 / 手勢 / 音訊(嬰兒哭聲)。本章講解偵測順序、參數怎麼調、人臉庫管理、敏感區域,以及加速後端的選擇。

偵測順序

每路攝影機獨立偵測,預設按 5 影格/秒節流(可調)。偵測順序由上而下:前一步過不了就跳過後面所有步驟,節省算力:

  1. 運動偵測:先看影格間差異,沒動就跳過後面所有步驟(最便宜的濾波器)
  2. 物體偵測:框出人 / 車 / 動物等 80 種常見物體
  3. 目標追蹤:給每個物體標上 ID,避免同一個人觸發多次事件
  4. 精細辨識(可選並行):人臉辨識、車牌辨識、姿態 / 跌倒
  5. 事件入庫:達到閾值 + 不在冷卻期 → 寫入事件,觸發推播 / 自動化

加速後端選哪個

映像檔 tag 決定 AI 用哪種硬體加速。安裝時一次性選定——不同變體裝的是不同的 onnxruntime wheel(cpu / openvino-gpu / cuda),執行期不能熱切換。要換後端就要拉對應變體的映像檔重新 docker compose up -d。

後端硬體10 路 5fps 大致 CPU 佔用
cpu純 CPU70–90% 4 核心
openvinoIntel 內顯 / NPU 11 代+20–40%
cudaNVIDIA 顯示卡8–15% + GPU 50%
trtNVIDIA 顯示卡(最快)5–10% + GPU 30%(首次啟動需要 ~3min 模型最佳化)

運動偵測

預設開啟。靈敏度越高越敏感,太高會被風吹樹葉 / 陰影飄過觸發;太低小孩慢慢走會漏偵測。建議從預設值開始,依照誤報情況往兩邊微調。

物體偵測

能辨識 80 種常見物體,常用:人 / 車 / 腳踏車 / 機車 / 公車 / 卡車 / 貓 / 狗 / 鳥。事件頁面有篩選框可以只看你關心的類別。

人臉辨識

需要先建立人臉庫:網頁後台 → 人臉 → 新增。每個人上傳 3–5 張正臉照(不同光照 / 角度),系統擷取臉部特徵存進資料庫。偵測時用相似度比對。

  • 已知人臉:辨識到時事件標記為「<姓名> 出現」
  • 陌生人:辨識到但庫裡沒比對上 → 標記為「陌生人」
  • 無人臉:物體偵測辨識到人,但相機角度看不到臉 → 標記為「行人」

光照差辨識率會下降

夜視紅外 + 白天日光,在系統看來是不同人。家門口建議白天和夜視各傳 2–3 張。人臉閾值提高會更嚴格但漏辨識變多,降低會更寬鬆但容易認錯人。

車牌辨識

國內藍牌 / 綠牌 / 黃牌都支援。車庫 / 院子門口裝一台對著車道方向的相機,辨識率好的話可以做「自家車回來自動開門」之類的自動化。

跌倒偵測(獨居長者)

三層判定避免誤報:

  1. 單影格躺姿:判斷目前姿態像「躺」
  2. 連續多影格確認:連續若干影格裡都是躺姿,過濾短暫蹲下 / 彎腰
  3. 下落速度門控:從「站」到「躺」的速度夠快,過濾「主動躺下」(如躺沙發睡覺)

建議裝在客廳 / 臥室

跌倒偵測對相機視角敏感:俯角 30–45° 最好。裝得太高(俯角 80°)人在地上會像一個圓點,偵測會失敗。

敏感區域與絆線

預設整個畫面都參與偵測。想「只關心進院子的人,不管馬路上路過的」,就在畫面上圈一塊區域。入口:裝置管理 → 那台攝影機 → 「偵測區域」(專業版功能)。共四種:

  • 事件區 —— 目標進入時觸發「進入區域」「徘徊」「超速」事件
  • 偵測區 —— 只有落在區內的目標才算數
  • 忽略區 —— 區內的目標直接丟掉(老晃的樹、一直在播的電視)
  • 跌倒忽略區 —— 區內不報跌倒,但人照常偵測、人臉照常識別(沙發)

同一個頁面裡還能畫絆線,判斷目標往哪個方向穿過一條線,用來區分「回家 / 離家」。

怎麼畫、參數怎麼調

手把手在〈敏感區域與絆線〉——含徘徊告警、忽略區的兩種判定方式、絆線方向設定。

同一個頁面裡還能畫絆線,判斷目標往哪個方向穿過一條線,用來區分「回家 / 離家」。

怎麼畫、參數怎麼調

手把手在〈敏感區域與絆線〉——含徘徊告警、忽略區的兩種判定方式、絆線方向設定。

閾值與冷卻時間

設定 → 偵測 全域調整,每台相機也可單獨覆蓋。常用:

參數預設調高的副作用調低的副作用
物體信心閾值person 0.40 / vehicle 0.30 / 其他 0.25漏偵測誤報變多
人臉相似度閾值0.5漏辨識認錯人
事件冷卻(秒)120(人臉)/ 30(音訊)/ 5(手勢)漏事件通知轟炸
跌倒下落速率閾值0.6 (bbox 高度正規化 / 秒)漏跌倒誤把躺沙發當跌倒

包裹偵測(快遞到家)

門口相機辨識到「快遞/紙箱」類物體並穩定停留若干秒後觸發「包裹送達」事件;離開後觸發「包裹被取走」。搭配自動化可以做「快遞到了推播通知 + TTS 喊話」。需要在 網頁後台 → 設定 → 偵測 手動啟用(預設關閉,且需要 skyview-package.onnx 模型——商業映像檔已內建)。

手勢辨識

在 person 物體框基礎上對人手做手勢辨識,預設啟用 6 個常用手勢:like(讚)/ ok / peace(V 手勢)/ palm(手掌)/ stop(停止)/ fist(拳頭)。可在 設定 → 偵測 → 手勢 中開關。搭配自動化可以做「對相機比 SOS 手勢 → 推播警報」。

需要 NVIDIA GPU

手勢辨識推理成本較高,CPU/Intel 內顯檔位不建議開啟。商業映像檔內建 skyview-gesture.onnx 模型,純 CPU 跑會明顯拖慢主要偵測流程。

音訊偵測(嬰兒哭聲)

雲瞰 內建 BC-ResNet 嬰兒哭聲辨識(skyview_audio_cry),每 1 秒滑動視窗對 2 秒音訊片段做一次推理,命中後觸發「嬰兒哭聲」事件。需要相機有麥克風且 RTSP 串流帶音軌。預設關閉,在 設定 → 偵測 → 音訊 中啟用。

環境噪音容易誤報

貓叫、電視廣告、洗碗機噪音偶爾會誤報。建議把音訊閾值調高,並開啟 RMS 門控過濾靜音段。新生兒家長記得把「嬰兒哭聲」自動化的冷卻時間調到 60 秒以上,避免連續推播轟炸。

關閉部分偵測

經驗值:6GB 顯示卡跑完整偵測流程(物體 + 人臉 + 跌倒 + 包裹 + 手勢 + 音訊)大約能穩定跑 6–8 路 1080p 子串流。要放更多路,可以在每台相機詳情裡關掉用不到的(比如門口相機不需要跌倒偵測,關掉即可);也可以全域關閉某類(設定 → 偵測 → 啟用項目)。

這篇文件有幫助嗎?