【儀表網(wǎng) 研發(fā)快訊】近日，中國科學(xué)技術(shù)大學(xué)工程科學(xué)學(xué)院機(jī)器人與智能裝備研究所董二寶副教授課題組發(fā)布了首個面向高空作業(yè)機(jī)器人的開源多模態(tài)感知數(shù)據(jù)集USTC FLICAR。該數(shù)據(jù)集以“USTC FLICAR: A sensors fusion dataset of LiDAR-inertial-camera for heavy-duty autonomous aerial work robots”為題在線發(fā)表于機(jī)器人領(lǐng)域知名期刊《The International Journal of Robotics Research》(IJRR)。
 

　　高空作業(yè)在工農(nóng)業(yè)生產(chǎn)和日常生活中發(fā)揮著重要作用，但同時也伴隨著較高的作業(yè)人員安全風(fēng)險。推動高空作業(yè)的自動化和智能化發(fā)展將有助于保障作業(yè)人員人身安全，提高作業(yè)效率和質(zhì)量，具有重要的社會價值和經(jīng)濟(jì)效益。研究團(tuán)隊展示了將自動駕駛感知系統(tǒng)與斗臂工程車相結(jié)合以創(chuàng)建多功能自主高空作業(yè)機(jī)器人平臺的潛力。USTC FLICAR數(shù)據(jù)集的數(shù)據(jù)采集系統(tǒng)配備了各種校準(zhǔn)良好且時間同步的傳感器：四個3D激光雷達(dá)、兩個立體相機(jī)、兩個單目相機(jī)、慣性測量單元(IMU)和一個GNSS/INS定位系統(tǒng)。同時使用激光跟蹤儀記錄毫米級精度的地面坐標(biāo)系下機(jī)器人平臺實況位置。
 

圖1. USTC FLICAR數(shù)據(jù)集的數(shù)據(jù)采集系統(tǒng)示意圖
 

　　研究團(tuán)隊選取代表性高空作業(yè)場景，收集了包括一天中的不同時間和天氣等多種條件下的數(shù)據(jù)，以確保高空作業(yè)機(jī)器人的全天候運行。周圍的物體包括高壓線、樹木、建筑物、道路等。高空作業(yè)機(jī)器人平臺的軌跡包括空中的三維平動、俯仰和旋轉(zhuǎn)。
 

　　USTC FLICAR數(shù)據(jù)集提供激光雷達(dá)點云數(shù)據(jù)、相機(jī)圖像數(shù)據(jù)、慣導(dǎo)位置姿態(tài)數(shù)據(jù)、地面真值數(shù)據(jù)，以及各傳感器之間的標(biāo)定數(shù)據(jù)。這些數(shù)據(jù)將支持面向高空作業(yè)的同時定位與建圖(SLAM)、三維精確重構(gòu)、多模態(tài)融合感知、多傳感器標(biāo)定等任務(wù)。
 

　　截至目前，USTC FLICAR數(shù)據(jù)集包含超過1.5TB的數(shù)據(jù)，包括4萬個立體圖像對、10萬個單目圖像、7萬幀激光雷達(dá)點云以及高頻IMU/INS和激光跟蹤儀運動測量數(shù)據(jù)。所有數(shù)據(jù)都可以以二進(jìn)制格式(rosbags)和直接可讀格式下載，如純文本格式的數(shù)字?jǐn)?shù)據(jù)、高質(zhì)量png格式的原始圖像數(shù)據(jù)。數(shù)據(jù)中還提供了一些有用的工具和SDK，以便快速使用。未來將繼續(xù)向數(shù)據(jù)集添加更多數(shù)據(jù)，以更充分地應(yīng)對高空作業(yè)機(jī)器人面臨的技術(shù)挑戰(zhàn)。
 

圖2.同時間戳單組多傳感器數(shù)據(jù)可視化示例
 

　　為提升數(shù)據(jù)標(biāo)注效率和質(zhì)量，研究團(tuán)隊還基于基礎(chǔ)AI視覺大模型Segment Anything Model (SAM)進(jìn)行語義標(biāo)注，制作了Semantic FLICAR數(shù)據(jù)集。原始圖像數(shù)據(jù)由SAM模型自動生成全局掩模分割，然后由人類標(biāo)注者通過感興趣區(qū)域的交互式提示進(jìn)行協(xié)作細(xì)化，從而獲得精確詳細(xì)的標(biāo)注。
 

圖3.基于SAM的語義標(biāo)注數(shù)據(jù)引擎
 

　　中國科學(xué)技術(shù)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院2023屆本科生王梓名為論文第一作者，工程科學(xué)學(xué)院董二寶副教授為論文通訊作者。論文的合作者還包括計算機(jī)科學(xué)與技術(shù)學(xué)院張燕詠教授和吉建民副教授、工程科學(xué)學(xué)院2023屆碩士生劉昱江等。該研究工作得到了國家重點研發(fā)計劃、仲英青年學(xué)者項目和中央高校基本科研業(yè)務(wù)專項資金的支持。
 

　　近年來，中國科學(xué)技術(shù)大學(xué)工程科學(xué)學(xué)院機(jī)器人與智能裝備研究所董二寶副教授課題組承擔(dān)國家重點研發(fā)計劃“智能機(jī)器人”重點專項“面向電力行業(yè)的作業(yè)機(jī)器人系統(tǒng)研究及應(yīng)用”項目的課題“配網(wǎng)帶電作業(yè)機(jī)器人技術(shù)研究”，在高空作業(yè)機(jī)器人領(lǐng)域開展了深入研究。團(tuán)隊聯(lián)合國網(wǎng)安徽電力、國網(wǎng)山東電力等單位研究突破多項關(guān)鍵技術(shù)，設(shè)計研制出10kV配網(wǎng)帶電作業(yè)雙臂機(jī)器人系統(tǒng)，并在實際配電網(wǎng)架空線路上進(jìn)行了示范應(yīng)用，可替代人工在高空場景中完成帶電接火、斷引流線、安裝故障指示器、安裝驗電接地環(huán)、除枝清障、消缺等典型不停電作業(yè)功能，于2023年3月順利通過國家科技部高技術(shù)研究發(fā)展中心組織的綜合績效評價。相關(guān)成果還以“Intelligent power distribution live-line operation robot systems based on stereo camera”為題于2023年7月發(fā)表在電力領(lǐng)域知名期刊《High Voltage》上。上述工作為本論文USTC FLICAR數(shù)據(jù)集的構(gòu)建奠定了堅實的基礎(chǔ)條件，同時數(shù)據(jù)集的發(fā)布也將進(jìn)一步推動高空作業(yè)機(jī)器人的研究發(fā)展和推廣應(yīng)用。
 

圖4.配網(wǎng)帶電作業(yè)雙臂機(jī)器人的示范應(yīng)用現(xiàn)場