座艙監測系統主要分為輸入端（感知端）、控制端（規劃端）、輸出端（執行端），輸入端主要由車內攝像頭和雷達作為信息源，然后進行判斷，最后輸出信息顯示終端。參考《汽車智能座艙分級與綜合評價白皮書》，智能座艙定義為：座艙域控制器由一顆或者多顆主控座艙芯片以及 外圍電路，集成車載信息娛樂系統、液晶儀表、HUD等功能，接收傳感器信號、計算并決策、發送指令給執行端。智能座艙具體功能依據市場主流銷售車型功能列表分類如下：

智能座艙功能列表

其中DMS，即Driver Monitoring System，駕駛員監測系統，監測對象為Driver(駕駛員），DMS可以監測駕駛員的疲勞狀態、危險駕駛行為。

OMS，即Occupancy Monitoring System，乘客監測系統，監測對象為乘客，OMS能夠監測乘客年齡、狀態、情緒等。

相對于DMS和OMS而言，IMS是一個比較新的概念。In-cabin monitoring System即汽車座艙的智能視覺監控系統。通俗來講，IMS既包括DMS、OMS，也包括FACE ID、手勢識別、體征監測、遠程監控等。

IMS系統工作原理

座艙檢測系統的形成鏈條主要涉及三個環節，攝像頭/傳感器進行圖像的捕捉與輸入；芯片板進行解碼與演算；信息娛樂系統（IVI）的人機交互進行監測提示與反饋，最終使駕駛員得到相應的安全預警反饋。

小結：                                    

在智能座艙中，除了顯示和交互技術外，座艙監測技術也是未來的重要發展方向，監測系統主要包含了駕駛員監測（DMS）和乘員監測（OMS）。當前的座艙監測方案主要包括了DMS和OMS,前者主要對駕駛員的監測，主要利用2D/3D攝像頭方案，后者主要針對車內乘客的監測，會增加毫米波雷達作為補充。

#01    

駕駛員監控系統（DMS）系統介紹

根據“歐盟通用安全法規”，從2024年中期開始，所有劃歸M類和N類的新制造車輛都必須配備先進的駕駛員分心警告系統（ADDW）。ADDW系統主要監控駕駛員的眼睛運動，并在檢測到分心跡象時發出警告。早在2019年，寶馬X5車型就已經配備了駕駛員注意力攝像頭，用于觀察駕駛員的睜眼情況和頭部位置，從而評估駕駛員的專注程度。

拓展：

按用途以符號分類 按GB/T 15089--2001《機動車輛和掛車分類》標準將機動車輛和掛車分為M類、N類、G類、O類、L類。1、M類：M類車輛是至少有四個車輪并且用于載客的機動車輛。2、N類：N類車輛時至少有四個車輪且用于載貨的機動車輛。3、G類：G類可概括為越野車，包括在M類N類之中。4、O類：O類掛車【包括半掛車】。

M類：至少有4個車輪并且用于載客的機動車輛；

M1類：包括駕駛員座位在內,座位數不超過9座的載客車;

M2類：包括駕駛員座位在內,座位數不超過9座,且最大設計總質量不超過5000kg的載客車;

M3類：包括駕駛員座位在內,座位數不超過9座,且最大設計總質量超過5000kg的載客車;

N類：至少有4個車輪并且用于載貨的機動車輛；

N1類：最大設計總質量不超過3500kg的載貨車輛；

N2類：最大設計總質量超過3500kg，但不超過12000kg的載貨車輛；

N3類：最大設計總質量超過12000kg的載貨車輛；

DMS并不是一個完全新穎的概念，不過，傳統DMS通常依賴于從車輛收集信息的被動技術，例如車道保持、駕駛持續時間，以及轉向傳感器等。然而，這些被動技術已經被證明不夠準確，容易導致很高的誤報率。因此，ADDW法規轉向主動監測駕駛員的眼球運動，標志著DMS從被動技術向基于視覺的主動監測技術轉變。

一、DMS分類

DMS可分為兩類：直接/主動監控和被動/間接監控。

被動監控依靠駕駛持續時間和車道保持等車輛信息來評估駕駛員的疲勞程度，但這種方案有可能產生誤報。另一方面，根據ADDW的要求，主動監控利用近紅外（NIR）相機，這對于眼球運動檢測特別有效，且不會影響駕駛員。近紅外相機通常包含一顆或兩顆LED/VCSEL照明器，以及一顆圖像傳感器，它們通常被安裝在車輛A柱或轉向柱等位置。然后，通過軟件提取駕駛員眼瞼閉合以及打哈欠等特征，在識別駕駛員瞌睡或疲勞跡象方面發揮著至關重要的作用。

DMS方案

二、DMS配置

DMS攝像頭安裝位置具有靈活性，可以在儀表盤、方向盤柱、左右側 A 柱或內后視鏡等位置，此外，大陸還將DMS集成在顯示屏中，實現結構上的小型化。其中正對駕駛人臉角度的轉向柱和儀表盤位置，是效果最好的，A柱其次，艙內后視鏡也勉強可以。

攝像頭推薦安裝位置

目前主流是利用2D或3D的攝像頭方案（一般帶紅外功能）實現對駕駛員的身份識別、駕駛員疲勞駕駛以及危險行為的檢測功能，是目前流行的ADAS（高級駕駛輔助系統）系統中重要組成部分。

• 2D人臉識別技術的原理就是用一顆RGB攝像頭捕捉人臉的2D平面圖像和已經錄入的圖像庫進行對比，算法相對簡單，模組成本較低。但是由于其捕捉的是人臉的2D平面圖像，即使輔以“活體”算法，但防偽性還是很差。

2D 3D的區別

• 3D人臉識別技術逐漸運用到智能鎖領域。而主流的3D人臉識別技術主要有3種：

  ? 雙目識別技術：雙目識別技術又叫雙目測距技術，原理和我們的人眼類似，直接由兩個攝像頭拍攝，得到兩個不同的平面圖像，再把兩張圖像上相同的特征點標注出來，最后再基于三角測量原理計算出深度信息。

  

  雙目識別原理
  

  ?3D結構光技術：3D結構光需要有點陣投影器和紅外攝像頭。點陣投影器投影到我們臉上，紅外攝像頭則找到投影到臉上的光點，然后基于三角測量原理計算出人臉的深度信息，通過深度判斷人臉是否吻合。

  

  

  3D結構光原理

  ?TOF技術：TOF又稱飛行時間技術，通過傳感器發射出紅外光，紅外光再從物體表面反射回傳感器，傳感器根據發射光和反射光之間的相位差換算出深度信息，通過深度信息判斷人臉是否吻合。

  TOF的原理與3D結構光比較相似，都是通過紅外光反射計算深度信息，只是3D結構光技術投射的紅外光是點狀，而TOF投射的則是一整片紅外光，因此TOF的工作距離可以達到5米，但是精度與3D結構光相比還是有較大的差距。

  

3D結構和3D-TOF的差異

總結：

1、雙目方案。比較大的問題在于實現算法需要很高的計算資源，導致實時性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說，分辨率越高，要求精度越高，則計算越復雜，同時，純雙目方案受光照，物體紋理性質影響。

2、結構光方案。目的就是為了解決雙目中匹配算法的復雜度和魯棒性問題而提出，該方案解決了大多數環境下雙目的上述問題。但是，在強光下，結構光核心技術激光散斑會被淹沒，因此，不合適室外。同時，在長時間監控方面，激光發射設備容易壞，重新更換設備后，需要重新標定。

3、TOF方案。傳感器技術不是很成熟，因此，分辨率較低，成本高，但由于其原理與另外兩種完全不同，實時性高，不需要額外增加計算資源，幾乎無算法開發工作量，是未來。

注：RGB色彩模式（也翻譯為“紅綠藍”，比較少用）是工業界的一種顏色標準，是通過對紅(Red)、綠(Green)、藍(Blue)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍三個通道的顏色，這個標準幾乎包括了人類視力所能感知的所有顏色，是運用最廣的顏色系統之一。

#02  

OMS系統介紹

DMS還可以升級為OMS-即車內人員監控系統，攝像頭不僅可以對駕駛員的狀態進行跟蹤，包括駕駛員疲勞的一些提醒，甚至還可以對后排乘客進行跟蹤，以滿足相關乘車需求。OMS傳感方案包括五種，分別是攝像頭、毫米波、超聲波、壓力傳感器和生物特征傳感器。目前，OMS主流傳感方案為1*OMS攝像頭（占比高）或1*毫米波雷達。在座艙感知方案中，諸如毫米波雷達等感知方案可以作為視覺方案的補充，能夠有效降低隱私侵犯和泄露風險，主要用于座艙OMS系統的生命體征檢測，目前國內已有多家車企搭載了該種方案。

座艙生命體檢測方案

一、OMS典型方案介紹

1、基于視覺感知技術的DMS駕駛員監控系統與OMS乘客監控系統具有明顯的成本優勢。

實現功能

在配套的艙內攝像頭部分，目前，在前裝市場，艙內視覺方案的主要攝像頭配置有幾種類型：

（1）單攝像頭方案，大多數集成在駕駛員側的A柱或方向盤，功能主要是人臉識別（包括發動機啟動、車機系統進入以及座椅個性化調節等）和疲勞分心監測。

另一種則是集成在內后視鏡位置，除了服務駕駛員，還可以額外提供乘員監控功能（車內行車記錄功能），甚至包括兒童／遺留物檢測、安全帶檢測和識別特定乘客等功能。

（2）雙／三攝像頭方案，分別位于A柱、內后視鏡以及車頂位置，負責不同功能的實現。

（3）大部分用于檢測駕駛員疲勞的駕駛員監測系統均采用成本較低的傳統2D可見光攝像頭（配合IR紅外LED）。3D—ToF傳感器也開始進入前裝（比如，首發搭載理想L9），從而增強座艙監控系統魯棒性，實現惡劣的光照條件下捕捉深度和紅外圖像。

主機廠車型IMS裝配情況

 攝像頭安裝位置示意圖

同時，在整體系統方案方面，主要形態包括基于攝像頭和獨立控制單元，或攝像頭＋集成座艙車機／域控制器解決方案。供應商方面，有底層感知算法供應商、軟件Tier1以及硬件Tier1等不同角色。

虹軟科技通過視覺，可以實現的OMS功能有：

• 乘客占位和屬性檢測：實時統計車內人員數量，準確標識乘客入座位置，幫助掌握車輛載客情況。精準識別年齡、性別、情緒等多種人臉屬性信息，分析乘客面部表情，有效規避司乘沖突。

• 遺留物品檢測：實時檢測艙內后座畫面，結合下車信號有效分析乘客隨身物品的遺留情況，并根據業務策略給予告警系統?？删珳蕶z測手機、錢包、女士手袋等數十種隨身物品，且支持一站式自定義物體品類訓練。

• 遺留兒童檢測：實時監測艙內后座區域，結合下車信號精準判斷后座區域是否存在兒童遺留，并根據業務策略將兒童感知數據傳輸至告警系統，全面保障乘客的出行安全。

• 遺留寵物檢測：準確分析后座區域是否存在活體寵物遺留，并根據業務策略及時發送預警信息；支持識別多品種寵物貓和寵物狗，能有效抵御毛絨玩具等假體攻擊。

2、毫米波雷達OMS方案在一些主機廠中已經得到應用，在某些場景下（如遺留兒童監測），攝像頭的監控范圍易受安裝位置、視線范圍等條件影響，較難做到精準無誤監測與警報。而雷達傳感器（包括毫米波雷達、超聲波雷達、UWB雷達）具有穿透固體物質的能力，可以更精確地檢測無人照管的兒童、監測乘員狀態、預估駕駛員的生命體征，在艙內監控中的應用有望擴大。其中森思泰克的STA60-4/STA79-4車內成員檢測雷達方案較為成熟，STA60-4和STA79-4車內成員檢測雷達是由森思泰克自主研發的兩款基于60GHz和79GHz毫米波技術的雷達產品。兩款雷達工作頻率不同，可滿足不同國家法規差異化的要求。兩雷達功能相同，均可檢測車中指定區域內有無活體目標，尤其是后排遺留兒童檢測，具有性能高、體積小、重量輕等特點。

森思泰克方案圖

STA60-4/STA79-4車內成員檢測雷達一般安裝在汽車天窗附近，隱藏在頂棚內部。當車輛駐停后，雷達可自動檢測車內后排座椅上的目標信息，一旦發現存在滯留兒童，迅速發出報警信號，同時還可以啟動通風系統等輔助救助裝置，從而達到保障乘車兒童人身安全的目的。

森思泰克雷達參數指標

楚航科技車規級平臺研發生產的60GHz生命體征探測雷達，采用3發4收天線通道，可覆蓋車內全區域，體積小，低成本，低功耗，< 1%誤報率與0漏報率，可實現ROA第二排占位探測與第三排活體探測, DMS駕駛員心跳呼吸檢測。

楚航科技方案參數指標

應用場景：

• ROA系統

  1. ROA（rear occupant alert）后排占位檢測系統毫米波雷達安裝在車頂可感知整個座艙區域、探測目標并對其進行高精度分類和生物特征的監測，監測車內人數。

• 2. CPD（children present detection）兒童存在探測功能防止兒童以及寵物被遺留在車內而發生意外，一旦有兒童被遺留在車內，系統會輸出報警信息給駕駛員。

  3. SOD（seat occupancy detection）占位檢測功能可以探測到車內哪個位置被占用，并可輸出占用信息給車輛，該信息可作為其他功能的二次開發依據。

• DMS系統

  1. DMS（driver monitoring system）駕駛員監控系統駕駛員呼吸、心跳監測 駕駛員生命體征異常報警

  2. 安全氣囊優化毫米波雷達成像可評估身體大小，識別成人還是兒童，以優化安全氣囊的部署。

小結：

1. 艙內監測的主流傳感器技術是 （DMS） 2D 紅外攝像頭。3D TOF傳感器應用較少，可實現手勢識別、游戲等娛樂和其他功能。

2. 系統OMS功能及整個座艙監控IMS采用毫米波雷達或其他傳感器解決方案作為視覺解決方案的補充。