酷家樂室內結構化數(shù)據(jù)集Structured3D入選ECCV 2020

來源：智能家居時間：2020-07-07 15:22

近日，歐洲計算機視覺會議ECCV 2020公布了論文錄取結果，由酷家樂KooLab團隊投稿的室內結構化數(shù)據(jù)集Structured3D成功入選。ECCV與ICCV、CVPR共稱為計算機視覺領域三大國際頂級學術會議，今年ECCV共收到5025篇有效投稿，是ECCV 2018的兩倍多，而接受率僅為27%。

《Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling》由酷家樂與上?？萍即髮W、賓州州立大學共同提出。研究者基于酷家樂海量的室內設計解決方案，并結合程序自動提取的房間結構，構建了富有三維結構標注的數(shù)據(jù)集?；诖藬?shù)據(jù)集，人工智能可以自動從二維圖像中提取房間的三維布局結構。

在計算機視覺領域，全局、結構化的3D重建在近些年受到越來越多的關注，它能對場景提供更簡潔而魯棒的恢復與理解，在不同行業(yè)有許多潛在應用。然而由于標注成本高昂，之前的工作大多只標注自己感興趣的結構，并且數(shù)據(jù)集的規(guī)模都比較??；另外，人工標注的質量也良莠不齊。以全景圖的房間布局任務為例，目前常用的真實場景數(shù)據(jù)集都只有如幾百張圖片，并且均假設房間結構為立方體模型（即房間由六面墻構成，且墻與墻之間相互垂直）。這些因素都極大地限制了機器學習算法的性能。

為了解決以上問題，研究者基于酷家樂專業(yè)的室內設計解決方案，如上圖所示，同時利用機器從自動提取房間結構，包括: 線段（line segment）、交點（junction）、平面（plane）等這些型元（primitive），和他們之間的關系（relationship），滿足立方體（cuboid）和曼哈頓世界假設（Manhattan-world assumption）的平面集合，如下圖所示。

隨后，研究者選取了3500個不同場景，共計20k房間，并利用酷家樂真實的渲染引擎，得到近兩百萬圖像，以及相應的3D結構化標注，包括不同的裝修配置，不同的光照，深度圖，語義圖。研究者通過實驗驗證了利用這些合成的具有真實感、結構化的大規(guī)模數(shù)據(jù)能夠提升算法在真實場景的預測結果。

眾所周知，家居板塊是個復雜、繁瑣、重人工的行業(yè)，亟需科技和互聯(lián)網(wǎng)的助力降本增效。這篇論文主要基于酷家樂的核心技術研究室內結構化數(shù)據(jù)集，將為酷家樂人工智能技術在家居行業(yè)的應用落地帶來實際應用價值。

為了推動該領域的發(fā)展，酷家樂在ECCV 2020還參與組織Holistic Scene Structures for 3D Vision Workshop與Holistic 3D Vision Challenge。組織者基于Structured3D數(shù)據(jù)集提出了室內布局估計競賽，不同于現(xiàn)有方法，競賽中的算法需要能夠不依賴于房間布局的假設從而預測更一般化的房間布局結構。該研討會和競賽由賓州州立大學的周子寒教授、西蒙弗雷澤大學的Yasutaka Furukawa、加州大學伯克利分校的馬毅教授、上?？萍即髮W的高盛華教授，聯(lián)合酷家樂和字節(jié)跳動AI Lab等機構舉辦。

競賽結果提交截止日期為7月31日，獲獎團隊名單將于8月7日公布，挑戰(zhàn)賽獲獎的團隊將邀請至8月份線上召開的ECCV 2020 Holistic 3D Vision Workshop上匯報展示。

無論是本次入選的論文，還是組織Holistic 3D Workshop和Holistic 3D Vision Challenge，酷家樂的宗旨是希望與頂尖業(yè)界和學術界研究者深入交流，共同探討當前人工智能技術的邊界，關注并解決室內、室外場景幾何布局理解問題，進而引領該研究方向，同時推動學術研究成果在實際業(yè)務中的應用。