手機版
化工儀器網手機版
化工儀器網小程序
官方微信
公眾號：chem17
掃碼關注視頻號
近年來，深度學習技術在涉及高維非結構化數據領域展現出了先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復雜的多模態信息問題。
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
多傳感器數據融合處理方法
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
中期融合的方式能夠有效減少模型的數據輸入，能夠有效整合來自不同模態的深層特征。
晚期融合（決策融合）針對每種模態的目標任務結果進行決策投票，比其他兩種融合策略更為直觀，能夠有效地促進多模態之間的協作，避免因為傳感器失效而對最終任務結果造成嚴重影響。
晚期融合由于需要對不同模態的數據進行處理和任務執行，其任務完成質量受到單一模態影響較大，同時也存在計算開銷大的問題。
aiSim仿真模擬平臺
作為一款端到端的自動駕駛仿真模擬工具，康謀aiSim仿真模擬平臺能夠提供現實世界中難以捕捉的場景和自動駕駛過程中的邊緣案例，具有高可擴展性、高保真度的傳感器模擬和環境模擬，能夠擴充不同測試場景的數據廣度和深度，有效提升ADAS/AD算法的能力。
傳感器是環境感知系統的核心，自動駕駛車輛需要通過傳感器獲知周圍的環境信息。康謀aiSim設計了基于物理原理的傳感器模型，能夠全面準確的模擬條件和交互環境。傳感器模型庫包括相機、激光雷達、雷達、超聲波傳感器等。
高度可擴展框架能夠實現在多個GPU上實現分布式光追渲染，實時仿真高度復雜的多傳感器配置。
具有污泥遮擋、冷凝水霧遮擋、鏡頭色差、鏡頭炫光等多種相機退化和鏡頭失真情景。
支持新傳感器模型配置和設計，并快速測試其感知性能。相機、激光雷達和雷達視場可視化有助于確定傳感器在車輛上的最佳安裝位置。
如您對上述產品感興趣，
歡迎聯系康謀自動駕駛團隊了解更多信息。
我們將竭誠為您服務！
期待與您的交流！
相關產品
免責聲明
- 凡本網注明“來源：化工儀器網”的所有作品，均為浙江興旺寶明通網絡有限公司-化工儀器網合法擁有版權或有權使用的作品，未經本網授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的，應在授權范圍內使用，并注明“來源：化工儀器網”。違反上述聲明者，本網將追究其相關法律責任。
- 本網轉載并注明自其他來源（非化工儀器網）的作品，目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時，必須保留本網注明的作品第一來源，并自負版權等法律責任。
- 如涉及作品內容、版權等問題，請在作品發表之日起一周內與本網聯系，否則視為放棄相關權利。
采購中心