摘要：針對攝像頭采集交通信息時易受環境干擾且采集到的信息不夠全面的問題，提出智能交通多傳感器信息融合框架，對多種傳感器采集到的交通信息進行融合。另外由于攝像頭采集的視頻數據量巨大且多為底層視覺信息，不便于用戶信息檢索，提出智能交通信息語義描述框架，對交通視頻信息和傳感器信息進行語義描述。實驗結果表明，對多傳感器采集到的信息進行融合能有效提高信息采集的精度，同時對交通視頻信息進行語義描述將極大地方便用戶對感興趣信息的檢索。
　　
　　引言
　　
　　攝像頭作為監控、采集交通信息的有效手段被廣泛應用于智能交通系統中。然而攝像頭由于其光學特性極易受到周圍環境的干擾，例如強光照射、雨雪霧等惡劣的氣候條件都會對攝像頭的正常工作產生很大的影響，因而僅僅通過攝像頭這一單一信息采集手段獲得的交通信息往往是不夠完整的，有時甚至是不可靠的。另外攝像頭采集到的視頻信息，信息量龐大，毫無結構性，用戶如果希望在如此海量信息中檢索感興趣的內容，例如用戶想查看某段黑色轎車闖紅燈的視頻，目前通常的做法是一幀幀地線性瀏覽整個視頻，顯然這個過程效率極其低下。
　　
　　基于以上問題，本文首先提出了一個多傳感器信息融合框架，通過將攝像頭采集到的視頻信息與多種智能交通傳感器采集到的信息進行融合以彌補攝像頭作為單一信息采集手段的不足。然后在此基礎上提出了一個對攝像頭所采集的視頻信息和智能交通傳感器信息進行語義描述的框架，為用戶對交通信息進行檢索提供鋪墊。
　　
　　1智能交通多傳感器信息檢測與融合
　　
　　1．1多傳感器信息融合理論
　　
　　多傳感器信息融合理論zui早應用于軍事領域，這一方面的研究首先起始于1973年的美國。20世紀80年代，隨著傳感器技術的進步，多傳感器信息融合理論開始飛速發展，其在非軍事領域的應用也大規模展開，工業控制系統、智能交通、氣象監測、資源探測、醫療診斷等多個領域都在朝著多傳感器方向發展。國內多傳感器信息融合的研究也于20世紀90年代達到高潮，涌現了諸多理論和工程實踐成果。
　　
　　多傳感器信息融合就是充分利用多個傳感器的資源，通過對多種傳感器信息按照某優化規則進行組合處理，有效地提高各個傳感器信息之間的互補性，同時剔除不必要的冗余信息，提高整個系統的有效性。多傳感器信息融合按照信息處理層次可分為數據層信息融合、特征層信息融合、決策層信息融合。其中決策層信息融合是根據各個傳感器系統的判決進行優化推理，做出zui終的決策，靈活性高，通信負荷小，無需傳感器之間同質，但同時也對觀測信息的預處理提出了很高的要求。
　　
　　1．2智能交通多傳感器信息融合框架
　　
　　智能交通傳感器種類繁多，功能各異。針對應用場景以及結合前期的工程實踐，選擇磁敏傳感器、壓電式傳感器、微波雷達、RFID作為獲取交通信息的傳感器，這4種傳感器所采集的交通信息如表1所示。
　　
　　此外，整個交通狀態會受到周圍環境的影響，因而需要根據環境變化調節多傳感器信息融合的策略，從而降低環境變化所帶來的影響。
　　
　　到目前為止，需要進行信息融合的傳感器包括攝像頭、磁敏傳感器、壓電式傳感器、微波雷達、RFID。這5種傳感器彼此異質，原始觀測數據結構、內容差異巨大，例如攝像頭采集的是二維視頻信號，磁敏傳感器卻輸出一維模擬信號，而壓電式傳感器則輸出模擬脈沖信號。因此考慮在決策級對這幾種傳感器信息進行融合。每個傳感器節點對采集到的信息進行分析處理，其結果與視頻信息處理結果進行決策級融合，整個融合過程同時會受到氣象、光照條件的影響。多傳感器信息融合框架如圖1所示。
　　
　　2智能交通信息的語義描述
　　
　　隨著多媒體技術的迅速發展，視頻信息量也呈現出爆炸性增長趨勢。面對如此海量的數據，用戶更關注如何才能地檢索到自己所感興趣的信息，即如何實現基于內容的視頻信息查詢（Content-BasedVisualQueries，CBVQ）。這一問題已引起了研究者的廣泛興趣，一些原型系統相繼問世，如IBM的QBIC系統，哥倫比亞大學的webseek系統，清華大學的TV-FI系統等。
　　
　　傳統視頻分析技術是對底層視覺信息進行分析處理，如顏色、紋理、輪廓。而用戶往往是從高層語義的角度理解整個視頻內容，例如某段視頻出現了什么物體、發生了什么事情。這之間不可避免地存在著語義鴻溝（Semanticgaps）。要實現視頻內容查詢，首先需要在底層視覺信息和高層語義之間搭建起一座橋梁。目前學術界對于該問題的研究工作已廣泛開展起來，其中比較的是運動圖像專家組提出的MPEG-7標準，即多媒體內容描述接口（MultimediaContentDescriptionInterface）。MPEG-7標準的目標就是定義一套靈活的可擴展的描述框架。該框架能夠對多媒體內容提供的、準確的并且具有互操作特性的語義描述，以便于進一步對多媒體信息內容進行語義檢索。MPEG-7對以下內容標準化：描述符（Descriptors）、描述方案（DescriptionSchemes）、描述定義語言（DescriptionDefinitionLanguage）。其中描述定義語言基于XML語言，允許對描述符和描述方案進行靈活地定義和描述，并且具有*的可擴展性。
　　
　　基于MPEG-7標準，提出智能交通信息語義描述框架，描述的信息包括攝像頭采集的視頻信息和智能交通傳感器信息。總體框架如圖2所示。
　　
　　下面將闡述語義描述框架的各個組成成分：
　　
　　2．1Video_metadata
　　
　　Video_metadata主要是對每一幀視頻做一般性描述，分為視覺元數據（Visual_metadata）和語義元數據（Semantic_metadata）。這部分數據并不包含視頻內容本身。視覺元數據主要包括格式、大小、分辨率、顏色深度、壓縮方式，語義元數據主要包括文本標注、時間、地點、該視頻幀編號（FrameNO．）。
　　
　　例如某一幀視頻的Visual_metadata描述如下：
　　
　　2．2Traffic_sensor_metadata
　　
　　Traffic_sensor_metadata主要描述的是該路段所布設的智能交通傳感器的信息，包括布設了哪些傳感器，該傳感器所處的位置，傳感器的功能。這部分描述也不包含視頻本身的信息。加入這部分描述是為了將多傳感器的信息內容整合起來，便于用戶查詢整個系統的信息。
　　
　　例如對于磁敏傳感器信息描述如下：
　　
　　2．3Video_DS
　　
　　Video_DS是對攝像頭采集到的某一幀視頻信息進行語義描述，這部分是整個語義描述框架的核心，直接影響到用戶的信息檢索。這部分的主要任務就是描述視頻中所出現的交通對象和視頻中出現的交通事件。其中Video_object_set表示的是視頻中所出現的所有交通對象的集合。在每一幀視頻中，提取的交通對象分為4類：車輛（各種機動車和非機動車）、行人、道路（單行道、雙行道、左拐車道、右拐車道）、交通標識（車道線、停車線、交通信號燈）。
　　
　　Video_object_set中每個元素稱為Video_object，即交通對象。每個Video_object同時具有視覺特征（VisualFeature）和語義特征（SemanticFeatures）。每類對象的視覺特征和語義特征如表2所示。
　　
　　Video_event_set表示的是視頻事件集，這些事件包括車輛直行駛過、車輛左拐、車輛右拐、闖紅燈、變道、違章停車、行人走過等交通事件，每個事件被賦予一個ID。Object_node引用Video_object_set中的元素Video_object，這樣就避免了對象的重復定義。Object_relation表示的是對象（Video_object）之間的關系，這些關系通常如表3所示。
　　
　　對于每件交通事件將其描述成對象之間的關系。例如對于闖紅燈事件，涉及到的對象即為行駛中的車輛、變為紅燈的交通信號燈和停車線，車和停車線之間的關系就是車越：過停車線（Crosses）。對于違章停車事件，涉及到對象為某個不能停車的車道和靜止的車輛，它們之間的關系即為方位關系，即這輛車位于該車道之上（Topof）。
　　
　　Sensor_status是當有交通事件出現時，相關的智能交通傳感器的檢測信息，當用戶需要讀取傳感器的信息時，可以直接讀出。這里的Traffic_sensor_node也需要引用Traffic_sensor_metadata中的Traffic_sensor，避免傳感器的重復定義。
　　
　　2．4Traffic_environment部分
　　
　　這部分主要描述的是攝像頭監控范圍內的整個交通環境信息，包括該區域的天氣氣候情況、光照條件、該路段的總體交通信息。
　　
　　3智能交通多傳感器信息融合框架模型仿真
　　
　　在此以車速檢測為例，對多種智能交通傳感器和攝像頭進行決策級融合，以驗證多傳感器信息融合框架的有效性。假設對于某一輛駛過的汽車，磁敏傳感器檢測到的車速為v1（單位：km／h），壓電式傳感器檢測到的車速為v2（單位：km／h），微波雷達檢測到的車速為v3（單位：km／h），攝像頭檢測到的車速為v4（單位：km／h），真實的車速為v（單位：km／h），則每個傳感器檢測車速的誤差為：
　　
　　△v1=v1-v（1）
　　
　　△v2=v2-v（2）
　　
　　△v3=v3-v（3）
　　
　　△v4=v4-v（4）
　　
　　根據工程實踐，磁敏傳感器、攝像頭檢測結果誤差的均值和方差都比較大，而微波雷達和壓電式傳感器則相對比較。假設誤差△v1，△v2，△v3，△v4分別滿足近似正態分布，且：
　　
　　△v1～N（4，9）（5）
　　
　　△v2～N（2，4）（6）
　　
　　△v3～N（1，4）（7）
　　
　　△v4～N（3，9）（8）
　　
　　對4種傳感器檢測的結果進行融合，這里采用加權平均的模型對檢測結果進行融合。4種傳感器所對應的加權系數分別為w1，w2，w3，w4，且：
　　
　　w1+w2+w3+w4=4（9）
　　
　　則融合結果為：
　　
　　因為△v1，△v2，△v3，△v4獨立，所以△vf也滿足正態分布，對以上過程進行仿真，結果如圖3所示。
　　
　　從圖3中可以看出，經過融合，融合結果的誤差△vf的均值較小，動態范圍也大幅度減小，因而多傳感器信息融合能有效提高系統的檢測精度。
　　
　　4智能交通視頻語義描述實例
　　
　　本文的基于智能交通信息語義描述框架對攝像頭采集到的某一幀視頻發生的事件進行描述，該幀如圖4所示。
　　
　　該幀視頻發生的事件是一輛黑色轎車正駛過人為所畫的一條虛擬的藍線。將黑色轎車和虛擬的藍色線條分別看作一個對象（Video_object），對于黑色轎車的特征描述如下：
　　
　　顯然，基于提出的智能交通信息語義描述框架，能夠將圖4中的視頻信息從語義的角度描述出來，并可以同時生成相應的文本文件。將這些視頻信息描述結果存入數據庫中，極大方便了用戶從語義的角度對視頻信息進行查詢。
　　
　　5結語
　　
　　本文首先提出了智能交通多傳感器信息融合的框架，并通過信息融合模型仿真驗證了該框架的有效性，結果表明經過多傳感器信息融合，系統交通信息檢測精度得到有效提高。之后在此基礎上參考MPEG-7標準提出了智能交通信息語義描述框架。該框架能夠描述從底層視覺特征到高層語義特征的多層視頻信息，彌補語義鴻溝，zui終方便用戶對海量視頻信息檢索，zui后用一個交通視頻語義描述實例證實了這一點。后續將根據各種智能交通傳感器信息結構特點對信息融合模型展開進一步研究，同時進一步提高智能交通信息語義描述框架的擴展性和兼容性，將更多的交通信息納入到整個描述框架中來。