【論文読み会】BuildingNet: Learning to Label 3D Buildings

2023年度論文読み会＃9（3Dデータ論文読み会＃3） GNNによる建築物の3Dメッシュラベリング 京都大学理学部 3回生 松田拓巳 0

■3D論文読み会について ⚫ 週1回ペースで3D×機械学習に関連する論文読み会を実施 ⚫ 全7回を予定し、3回分は認識系、4回分は生成系を読む ⚫ 発表予定の1週間前までに発表する旨を#generalで告知 ⚫ • 発表する日時（基本は火曜19時～ですが都合により変更も可） • 論文名とそのリンク • 認識系 or 生成系 発表希望者がいない回は松田が発表します 1

■論文の探し方（例） ⚫ Google Scholar や X，arXiv，CVPR，Microsoft Academicなど で検索して探す ⚫ • “3D deep learning” • “3D recognition” • 興味のある分野のwordを入れても良いかも（ex. 自動運転） Paper with codeのBrowse State-of-the-Artで性能の良い モデルの論文を探す 2

• https://scholar.google.co.jp/
• https://twitter.com/
• https://arxiv.org/search/
• https://cvpr.thecvf.com/
• https://www.microsoft.com/en-us/research/search/?q=
• https://paperswithcode.com/sota

BuildingNet: Learning to Label 3D Buildings 目次 1. 論文の概要 2. BuildingNet 3. BuildingGNN 4. 精度検証 3

1. 論文の概要 4

1. 論文の概要 1.1 論文のポイント ⚫ 建築物の外装をラベル付けした大規模な3Dメッシュデータセット BuildingNet を構築した ⚫ GNNにより建築3Dメッシュのラベリングにおいて高精度を達成した 5

1. 論文の概要 1.2 メッシュとは 点群 メッシュ ボクセル RGBD ⚫ 単純な図形（四角形や三角形など）で構成された3Dモデル 6

1. 論文の概要 1.3 GNN（Graph Neural Network）とは ⚫ グラフはエッジとノードからなるデータ構造 ⚫ エッジ・ノードの値を集約したりMLPに通したりしてエッジ・ノードの値を更新する 𝒏1 𝒏1 𝒏2 𝒆3,1 𝒏2 message passing 𝒆2,3 𝒆3,2 𝒏3 𝒆3,4 𝒆4,2 𝒆3,1 ・・・ 𝒆2,3 𝒆3,2 𝒏3 𝒏4 𝒆3,4 𝒆4,2 𝒏4 画像出典：https://www.slideshare.net/ssuser0c8361/20200212-227754437 7

• https://www.slideshare.net/ssuser0c8361/20200212-227754437

1. 論文の概要 1.4 背景 ⚫ “建築物” の特徴 • 複数の部品で構成され、多様性や複雑さが大きい • ShapeNetやScanNetにあるような物体に比べて大きい ⚫ 大規模な公開3D建築モデルは今までに存在しなかった ⚫ 3Dメッシュを扱うNNアーキテクチャはそんなに多くない • Geodesic CNN • Anisotropic CNN • FCN＋CRF ⚫ 建築のセマンティックセグメンテーションの研究が少ない 画像出典：https://arxiv.org/abs/1612.02808 https://arxiv.org/abs/1501.06297 8

• https://arxiv.org/abs/1612.02808
• https://arxiv.org/abs/1501.06297

2. BuildingNet 9

2. BuildingNet 2.1 BuildingNetの概要 ⚫ 2000棟の建築物のアノテーション済み3Dメッシュデータ（BuildingNet - Mesh） • RGB情報もある ⚫ 点群データも用意されている（BuildingNet - Points） • Poisson Disk Samplingを使って3Dメッシュから10万点を生成 画像出典： https://github.com/marmakoide/mesh-blue-noise-sampling 10

• https://github.com/marmakoide/mesh-blue-noise-sampling

2. BuildingNet 2.1 BuildingNetの概要 ⚫ 建物は５種類に分類 • 住宅・商業施設・宗教施設・市民施設・城 ⚫ ラベルは31種類 • 窓、植物、壁、屋根、手すり、乗り物、ドア、… 11

2. BuildingNet 2.2 アノテーション画面 12

3. BuildingGNN 13

3. BuildingGNN 3.1 グラフの定義 ⚫ ノード：各mesh subgroupを1つのノードとする ⚫ エッジ：近いノード、支持関係にあるノード、類似ノード、 subgroup 包含関係にあるノードを接続する* 出典：https://arxiv.org/abs/1812.02713 類似 近い 出典：https://buildingnet.org/ 支持 14

• https://buildingnet.org/
• https://arxiv.org/abs/1812.02713

■補足｜エッジ特徴量の詳細 ⚫ Proximity edges（近いsubgroupを接続するエッジ） • subgroup間の距離が、両者のOBBの対角線平均の1％以下かどうか・2.5%以下かどう か・5％以下かどうか・10％以下かどうかのone-hot（＝4次元ベクトル） ⚫ Support edges（支持関係にあるsubgroupを接続するエッジ） • あるsubgroupの底面が別のsubgroupのOBBの上面の上にある面積の割合 • 両者の距離はOBBの高さ平均の1％/2.5％/5％/10％とする（→4次元ベクトルに） ⚫ Similarity edges（似ているsubgroupを接続するエッジ） • 1 – (Chamfer距離) ⚫ Containment edges（包含関係にあるsubgroupを接続するエッジ） • ① (共通部分の体積) • ② (共通部分の体積)÷(和集合の体積) 15

3. BuildingGNN 3.2 全体像 メッシュをもとに点を Group化してpooling メッシュ U-Net系モデル 点群 グラフ表現 各点の特徴量 出典：https://buildingnet.org/ 16

• https://buildingnet.org/

3. BuildingGNN 3.3 値の更新 ノード𝑖の値 (𝑡) 𝐡𝑖 を更新する ノード 𝑖 と繋がっているエッジ/ノードをconcatしたものを (𝑡+1) MLPに入れた結果の和が更新後の値 𝐡𝑖 出典：https://buildingnet.org/ 17

• https://buildingnet.org/

3. BuildingGNN 3.4 更新式 ⚫ 𝑙 = 0 のとき (0) 𝐡𝑖,𝑗 = 𝑀𝐿𝑃 𝐞𝑖,𝑗 ; 𝐰 0 , (0) 𝐡𝑖 ノードの初期特徴量 = 𝐧𝑖 (subgroupの重心位置などをconcatしたベクトル) エッジの特徴量 MLPの重みパラメータ ⚫ 𝑙 ≥ 1 のとき (𝑙+1) 𝐡𝑖,𝑗 = 𝑀𝐿𝑃 (𝑙) (𝑙) (𝑙) 𝐡𝑖 , 𝐡𝑗 , 𝐡𝑖,𝑗 ; 𝐰 𝑙 1 (𝑙+1) = ෍ 𝐡𝑖,𝑗 |𝑁(𝑖)| (𝑙+1) 𝐡𝑖 , 𝑗∈𝒩(𝑖) 𝐧𝑖 (0) 𝐞𝑗,𝑖 (0) 𝐧𝑗 𝐡𝑖 𝐡𝑗,𝑖 𝐧𝑘 (1) (0) 𝐡𝑗 (0) 𝐡𝑘,𝑖 𝐞𝑘,𝑖 (1) 𝐡𝑖 𝐡𝑗,𝑖 (1) 𝐡𝑘,𝑖 (0) 𝐡𝑘 (1) 𝐡𝑗 …… (1) 𝐡𝑘 18

■補足｜BuildingGNNのアーキテクチャ 19

4. 精度検証 20

4. 精度検証 4.1 従来手法との比較（点群のみを使った場合） ⚫ MinkowskiNetが最も精度が高かった ⚫ 色情報を含めると精度が上がる ⚫ 全体的に精度が低い • PartNetでは、PointNet++の精度はPart IoU=30~70%程度 • BuildingNetでは、最高精度のMinkowskiNetでもPart IoU=29.9%にとどまる 入力に色情報を含むかどうか 21

4. 精度検証 4.2 従来手法との比較（点群とメッシュを使った場合） ⚫ triangle-pooling • メッシュ単位（三角形）ごとに点群特徴量をaverage-pooling ⚫ subgroup-pooling • 部品ごとに点群特徴量をaverage-pooling ⚫ 色情報の有無によらず、BuildingNet – MinkNet の組み合わせが最強だった GNNで 15.4ポイント 精度UP 22

■補足｜Max-PoolingかAvg-Poolingか？ ⚫ Avg-Poolingのほうが精度が良かった 23

4. 精度検証 4.3 各モデルの予測例 GNN使用 最高精度 正解ラベル 24

BuildingNet: Learning to Label 3D Buildings まとめ まとめ１ 大規模な公開3D建築モデルBuildingNetを構築した まとめ２ GNNを導入しベースライン精度より大きく改善 25

26