日前，浙江大學濱江研究院Om人工智能研究中心主任、聯匯科技首席科學家趙天成博士團隊 OmLab 在國際頂會ECCV 2022 ODinW 挑戰賽中獲得 Full-Shot（全量數據學習）賽道與Few-Shot（小樣本數據學習）賽道雙料冠軍、在 Zero-Shot 賽道獲得第四排名的佳績?；谌履繕藱z測框架 OmDet 的先進性和創新價值，趙天成博士受邀發表主題報告演講。
ECCV（European Conference on Computer Vision，歐洲計算機視覺國際會議）是計算機視覺方向的世界范圍三大頂級會議之一。本次 ODinW（Object Detection in the Wild，開放域目標檢測）挑戰賽由微軟主辦，旨在驗證大模型在不同領域數據上的能力。
基于 OmDet 框架的先進性和相關研究的創新價值，趙天成博士受邀參與Spotlight Sessions，并發表《OmDet: Language-Aware Object Detection with Large-scale Vision-Language Multi-dataset Pre-training》報告演講，受到廣泛關注。
目標檢測（Object Detection，OD）是機器視覺領域任務的重要手段，廣泛應用智能視頻監控、工業檢測、機器人視覺等場景，AI視覺技術在學術、產業等不同領域熱度空前，同樣創新難度也在不斷加大。經典的 OD 研究專注于改進檢測器網絡，以使用固定輸出標簽集（例如 COCO 中的 80 個類）實現更高的準確度和更低的延遲，OmLab團隊提出的一種基于VLP（視覺語言預訓練）的全新目標檢測框架：OmDet，探索一種持續學習的方法，即檢測器能否從許多視覺詞匯量增加的 OD 數據集中逐步學習，并最終實現開放詞匯檢測能力。
OmDet 在 COCO、Pascal VOC、Wider Face和 Wider Pedestrian 四個 OD 數據集中的實驗結果表明，OmDet 不僅能夠從所有數據集中學習而不會出現標簽沖突，而且由于其在任務之間的知識共享，它比單個數據集檢測器具有更強的性能。
在此基礎上，OmLab 團隊進行了更大規模的研究，將 OmDet 擴展到非常大的詞匯預訓練，使用混合了 2000 萬張圖像和 400 萬個獨特文本標簽的 OD 數據集進行預訓練，其中包括人工標注和偽標簽。得到的模型在最近提出的 ODinW 數據集上進行評估，該數據集涵蓋了各個領域的 35 個不同的 OD 任務。
實驗表明，通過多數據集預訓練擴大詞匯量可有效提高零/少樣本學習和參數效率微調。OmDet 在一系列不同的下游任務上實現了最先進的性能。未來可以通過有效的任務采樣策略改進 OmDet，利用更多樣化的多模態數據集，探索不同的語言和視覺 Backbone（骨干網絡），凍結特定參數或完全更新它們。
機器視覺2.0作為聯匯科技的核心技術之一，在多項國際頂會競賽中獲得肯定，團隊依托技術優勢不斷探索創新、加速能力突破，通過優化升級在預訓練大模型等領域的核心能力，自研產品體系與開放平臺并實現快速落地應用，更好地助力各行各業實現降本增效，推動數字技術與實體經濟加速融合。
