日期：108年5月15日
發稿單位：工程技術研究發展司
聯絡人：張庭軒助理研究員
電話：(02)2737-7437
E-mail：tschang@most.gov.tw
在科技部「數位經濟技術創新研發與應用」專案計畫的支持下，iStaging愛實境股份有限公司與國立清華大學電機資訊學院進行產學合作，攜手完成「智慧全景3D重建」研究，並實際運用於iStaging愛實境所拍攝的大量全景影像，整合VR技術打造出不用到現場也能身臨其境的沉浸式實境賞屋體驗，讓看房服務從目前業界的全景遠端觀看升級到可在3D空間移動。對消費者和開發商都是一種革新，打破場域限制，突破了傳統線上看房的局限，讓消費者更快更完整地獲得房屋資訊優化購屋體驗，同時開發商和房仲也因為透過技術而提升商業效率。
隨著全景攝影機的普及化，全景影像可應用的商業模式逐漸被挖掘，從最早Google街景車拍攝的全景街景服務，到iStaging愛實境所提供基於一般手機拍攝室內全景圖的實境賞屋解決方案，許多國內外大型房屋仲介公司及平台（如永慶房屋、住商不動產、Zillow、Redfin等）開始導入遠端實境賞屋的服務，讓廣大的網路購屋族可以透過電腦瀏覽租房或買房的選擇，大幅增加物件的被觸及率，加快成交的過程。然而，各種類似的實境賞屋服務如雨後春筍般冒出來，其中最具備競爭力的技術在於如何讓全景賞屋跟實地看房一樣，透過3D空間感技術實現，不只消費者體驗提升，內容生成的過程和成本對開發商和仲介而言更是突破性的便利。
為因應此議題，iStaging愛實境與清華大學攜手合作，在科技部工程司「數位經濟技術創新研發與應用」專案計畫之架構下，共同執行「智慧全景3D重建」之研究；此研究最大技術亮點為：僅透過單張室內全景影像，運用創新機器學習技術，重建室內3D格局模型，並進一步結合VR技術，提供觀賞者近乎擬真的視覺沈浸感與立體空間感。有別於市面上的解決方案需要仰賴價格昂貴的光達(Lidar)測距設備來獲得室內的深度資訊，並透過大量的人力來完成室內格局的3D建模，該研究技術只需要1張全景圖，便可達到相同的賞屋品質，大幅度降低了人力與硬體成本，因此可擴展性佳，更容易導入市場，讓實境賞屋服務普及化。透過iStaging愛實境公司目前服務超過全球50個國家的房仲用戶的商業網絡，將此突破性的技術有效擴展至海外市場。
為增加系統於大量真實資料上的驗證，該計畫採用具業界規格的資料，由iStaging愛實境公司提供2500張室內全景圖片作為機器學習的訓練以及測試資料庫。跟目前最好的技術LayoutNet[1]相比，該計畫的技術提高了將近15%的準確度，且研究成果已獲電腦視覺的國際頂級會議錄取[2]，預計今(2019)年6月赴美國加州在國際電腦視覺與圖形辨識研討會(CVPR)發表。
透過iStaging愛實境公司提供的大數據以及研究團隊開發的技術，此計畫的研究成果將看房服務全面升級到3D空間移動版本，期望後續的技術移轉可以被iStaging愛實境公司廣泛的應用在他們的產品上。
參考文獻
[1] C. Zou, A. Colburn, Q. Shan, and D. Hoiem. LayoutNet: Reconstructing the 3d room layout from a single rgb image. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
[2] S-T Yang, F-E Wang, C-H Peng, P Wonka, M. Sun, and H-K Chu. DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. https://cgv.cs.nthu.edu.tw/projects/dulanet
研究成果聯絡人
孫民副教授 國立清華大學電機工程學系
電話：(03)5731058 E-mail：sunmin@ee.nthu.edu.tw
朱宏國副教授 國立清華大學資訊工程學系
電話：(03)5731215 E-mail：hkchu@cs.nthu.edu.tw
