SceneGraphNet用于3D室內(nèi)場景增強的神經(jīng)信息傳遞

　　抽象在SceneGraphNet用于3D室內(nèi)場景增強的神經(jīng)信息傳遞中，我們提出了一種神經(jīng)消息傳遞方法，以通過匹配周圍環(huán)境的新對象來增強輸入的3D室內(nèi)場景。給定一個輸入，可能不完整的3D場景和一個查詢位置，我們的方法將預(yù)測一個非常適合該位置的對象類型的概率分布。通過以密集圖傳遞學(xué)習(xí)到的消息來預(yù)測我們的分布，密集圖的節(jié)點表示輸入場景中的對象，邊緣表示空間和結(jié)構(gòu)關(guān)系。通過注意力機制對消息進行加權(quán)，我們的方法將學(xué)習(xí)重點放在最相關(guān)的周圍場景上下文上，以預(yù)測新的場景對象。我們發(fā)現(xiàn)，根據(jù)SUNCG數(shù)據(jù)集中的實驗，在正確預(yù)測場景中丟失的對象方面，我們的方法明顯優(yōu)于最新方法。

　　數(shù)字。在臥室場景的SceneGraphNet中用于神經(jīng)消息傳遞的圖形結(jié)構(gòu)示例。
 

　　要求
 

　　1、Python 3
 

　　2、Python套件： pip install -r requirements.txt
 

　　torchfold(嘗試更換torchfold.py由該如有錯誤)
 

　　數(shù)據(jù)集
 

　　SUNCG數(shù)據(jù)集 在該項目中用于培訓(xùn)和測試。[不幸地倒下了：(]
 

　　我們解析了原始的房間結(jié)構(gòu)，并在此處創(chuàng)建了相應(yīng)的場景圖數(shù)據(jù)集。圖形節(jié)點和邊的定義通常如SceneGraphNet用于3D室內(nèi)場景增強的神經(jīng)信息傳遞所述。詳細的數(shù)據(jù)結(jié)構(gòu)進行了說明這里。
 

　　下載我們的數(shù)據(jù)集或根據(jù)我們的數(shù)據(jù)結(jié)構(gòu)創(chuàng)建自己的數(shù)據(jù)集，并在以下位置更改數(shù)據(jù)集目錄 utils/default_settings.py
 

　　訓(xùn)練
 

　　我們在4種類型各異的房間(臥室，浴室，辦公室，客廳)中訓(xùn)練/測試我們的方法。臥室類別預(yù)測的示例火車命令是
 

　　python main.py --name YOUR_TRAIN_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

　　臥室類別預(yù)測的評估命令示例為
 

　　python main.py --test --load_model_name YOUR_TRAIN_JOB_NAME --name YOUR_TEST_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

　　可以通過添加其他參數(shù)解析器來調(diào)整某些變體和超參數(shù)。有關(guān)main.py詳細信息，請參見中的幫助。
 

　　引文
 

　　如果您使用此代碼進行研究，請引用我們的論文：

　　@inproceedings{zhou2019scenegraphnet,

　　title={SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation},

　　author={Zhou, Yang and While, Zachary and Kalogerakis, Evangelos},

　　booktitle={IEEE Conference on Computer Vision (ICCV)},

　　year={2019},

　　}
 

　　致謝
 

　　該項目與Wayfair Next Research團隊(現(xiàn)為Wayfair計算機視覺團隊和Applied Tech團隊)部分合作。我們要感謝麗貝卡·佩里(Rebecca Perry)和蒂姆·張(Tim Zhang)在整個項目過程中提供的專家建議和鼓勵。
 

　　這項研究由NSF(CHS-161733)資助。我們的實驗是在馬薩諸塞州技術(shù)合作組織管理的合作基金下獲得的UMass GPU集群中進行的。