VRC飯スキャン説明会

自己紹介 所属 モバイルスキャン協会理事 あいうえおabcde12345有胃兎絵御 活動実績 ・Niantic Lightship Summit Tokyo ・東京都デジタル局、 ・北海道立総合研究機構 ・東京大学豊田研究室 ・XRkaigi(2022/2023) 他多数で登壇

本日使用するアプリはこちら あいうえおabcde12345有胃兎絵御 Scaniverse Polycam

3Dスキャンって何？ あいうえおabcde12345有胃兎絵御 3Dスキャンって何？

3Dスキャンって何？ あいうえおabcde12345有胃兎絵御 現実にある物体や空間を 3Dデータ化する技術

3Dスキャンって何？ あいうえおabcde12345有胃兎絵御

3Dスキャンって何？ あいうえおabcde12345有胃兎絵御

3Dスキャン技術の分類(一部) あいうえおabcde12345有胃兎絵御 フォトグラメトリ LiDARスキャン ※3D Gaussian Splattingは 後ほど詳しく説明します

フォトグラメトリとは？ あいうえおabcde12345有胃兎絵御 様々な角度から撮影した 写真を元に3Dモデルを作成する技術

スマホフォトグラメトリの特徴 ❖ 複数角度、複数枚の写真から 3Dモデルを作成 あいうえおabcde12345有胃兎絵御 ❖ 多くのiPhone/Android で利用可能 ❖ 小さいモノでも3Dモデル化可能 ❖ ただ空間の3Dモデル化は難しい ❖ LiDARより難易度は高め

フォトグラメトリとは？ あいうえおabcde12345有胃兎絵御 https://scaniverse.com/scan/x3o6bv4qc4fgiigr

• https://scaniverse.com/scan/x3o6bv4qc4fgiigr

LiDARスキャンとは？ あいうえおabcde12345有胃兎絵御 レーザーを照射して 3Dモデルを生成する技術

iPhoneLiDARスキャンの特徴 ❖ レーザーを使って3Dスキャン あいうえおabcde12345有胃兎絵御 ❖ iPhone12~15Proシリーズ、 iPad Pro(2020↑)のみ使用可能 ❖ スキャンレンジは5mまで ❖ 空間や大型の物体が得意 ❖ 反面小さいモノは不得意

LiDARスキャンとは？ あいうえおabcde12345有胃兎絵御 https://scaniverse.com/scan/depldbbwb225rijm

• https://scaniverse.com/scan/depldbbwb225rijm

本日はスマホフォトグラメトリDay！ あいうえおabcde12345有胃兎絵御 フォトグラメトリなら 使用するOS/端末に関係なく 体験可能！！！

Scaniverse ❖ 無料で利用可能な3Dスキャンアプリ ❖ スキャン時間は全アプリ中でも最速 ❖ スキャン対象に応じて 推奨のスキャン距離を選択可能 ❖ 全ての処理をローカルで行うので モバイル回線でも安心 あいうえおabcde12345有胃兎絵御

Polycam ❖ 年12,000円の3Dスキャンアプリ... だが機能制限版は無料で使用可能 あいうえおabcde12345有胃兎絵御 ❖ Scaniverseよりも高品質な3Dモデル を生成可能 ❖ 回転台の使用+撮り方次第では 底も含めて3Dスキャン可能 ❖ 処理はクラウド処理なので モバイル回線だとキツイかも...

使い分け ● Scaniverse サクッとスキャンしたい場合 例えばお店の中でスキャンしたい時など あいうえおabcde12345有胃兎絵御 ● Polycam じっくりとスキャンしたい場合 自宅等で専用のブースや場所をつくれる場合 ● Reality Capture さらに高いクオリティでスキャンしたい方 ハードルは割と高め

3Dスキャンにむいていないモノ あいうえおabcde12345有胃兎絵御

飯スキャンで影響するものNo.1 陶器のお皿 ● 陶器特有の反射がフォトグラメト リに悪影響大 あいうえおabcde12345有胃兎絵御 ● 色が単色なものは更にNG ● 総じて白い陶器のお皿を3Dスキャ ンするのは相当難しい ● 模様付きや木製のお皿、石皿(?)等 のマッドな質感の物は結構上手く いく

iPhone3Dスキャン前の準備 1 2 3 あいうえおabcde12345有胃兎絵御 スキャン対象を観察 ❖ スキャン対象の材質を確認 ❖ そこが丸いモノはストッパーを設置 ❖ 単色等のモノはマスクキングテープを 貼り付けるのがオススメ

iPhone3Dスキャン前の準備 1 2 3 あいうえおabcde12345有胃兎絵御 レンズの清掃 ❖ レンズについてる汚れを清掃する ❖ ティッシュやハンカチ等で清掃すると 更に汚れが悪化する場合も ❖ 専用のクリーナーを用意しよう

iPhone3Dスキャン前の準備 1 2 3 あいうえおabcde12345有胃兎絵御 十分な明るさを確保 ❖ ３Dスキャンする範囲は十分な明るさ を確保する ❖ ３Dスキャン中の影はそのままテクスチャ に反映されるので注意が必要

どうして写真から3Dモデルが？ Ｃ あいうえおabcde12345有胃兎絵御 A-B間の距離とA-C,B-C間の角度が 分かればＣの位置を計算可能 →三角測量 角度 やっている事は人間の目が モノを立体的に見ることと同じ 距離 Ａ Ｂ

補足:フォトグラメトリで重要なアライメント あいうえおabcde12345有胃兎絵御

特徴点とは 3Dモデル化する物体の模様の内 あいうえおabcde12345有胃兎絵御 他の部分とは異なる模様のこと イメージとしてはその物体でパズルが 出来るか出来ないか

特徴点のありなし あいうえおabcde12345有胃兎絵御 特徴点あり 特徴点なし

特徴点って何？ あいうえおabcde12345有胃兎絵御 WAKARU

特徴点って何？ あいうえおabcde12345有胃兎絵御 DOKO?？？

特徴点はなぜ重要なの？ あいうえおabcde12345有胃兎絵御 様々な角度から撮影

特徴点はどうして重要なの？ ?? ? あいうえおabcde12345有胃兎絵御 ?? ? ?? ? 特徴点が無いとどこで何を撮影したか特定できない

特徴点はどうして重要なの？ あいうえおabcde12345有胃兎絵御 特徴点があればどこから何を撮影したか分かる

オーバーラップを意識しよう 70%以上同じ場所を撮影 あいうえおabcde12345有胃兎絵御

カメラの位置を変えて撮影しよう あいうえおabcde12345有胃兎絵御 位置を変えながら撮影する 同じ位置から角度を変えて 撮影するのはNG

角は多めに撮影しよう 建物 あいうえおabcde12345有胃兎絵御 角は多めに撮影をする

物の撮影はドーム状を意識しよう あいうえおabcde12345有胃兎絵御 高さと角度を変えながら撮影

最初は写真を多めに撮影しよう あいうえおabcde12345有胃兎絵御 70％のオーバーラップ を確保出来ていない 撮影が失敗した場合の 対策がされていない 撮影が失敗した場合の 対策がされている

お店で料理を3Dスキャンする時のHow to ● 使用するアプリはScaniverse！ ● スキャンレンジは 最小の0.3mでOK あいうえおabcde12345有胃兎絵御 ● ピンボケ防止の為にも被写体から15cmほど離れよう ● スマホの向きは何でもOK(縦でも横でも逆さでも) ● ドーム状に縦軸を意識しながらスキャン！ ● 後ろの部分は最後に追加フォローしよう！

動画A あいうえおabcde12345有胃兎絵御

自宅で3Dスキャンする場合 ● 使用するアプリはPolycam！ ● 撮影する機材は何でもOK(マクロレンズがあると便利) あいうえおabcde12345有胃兎絵御 ● 回転台、複数方向から投影できる照明があると便利 ● 1周辺り20枚×縦は4回を目安に撮影しよう ● 底も撮りたい場合は逆さ(or横)にして同じように撮影！ ● 処理するときは”Isolate object from environment”を必ず ONにすること！！！

動画B あいうえおabcde12345有胃兎絵御

参考資料 あいうえおabcde12345有胃兎絵御 Scaniverseの使い方全てまとめました スマホで無料3Dスキャン (フォトグラメトリ)を試してみよう！

ここからは応用コーナー あいうえおabcde12345有胃兎絵御 3D Gaussian Splatting が今熱い！！！

3D Gaussian Splattingって何？ Gaussian Splatting（ガウス・スプラッティング）は、3D空間の再構成に おける革命的なラスタライゼーション技術であり、既存のNeRF（Neural Radiance Fields）およびフォトグラメトリ技術の課題を組み合わせて克服 あいうえおabcde12345有胃兎絵御 します。 一連の画像を使用して、Structure from Motion (SfM) が点群を推定する ために使用されます。各点はガウスに変換され、位置、方向、スケール、 色、透明度などの一連のパラメーターを含みます。 簡単に言えば、スプラットは3Dシーンの照明条件や材料の特性をまったく 新しい方法で再現することができ、これにより、光沢のあるまたは反射す る表面をより良くレンダリングすることが可能になります。 引用:Scaniverseが3D Gaussian Splattingをサポート(Niantic) https://nianticlabs.com/news/scsniverse-3dgaussian?hl=ja

• https://nianticlabs.com/news/scsniverse-3dgaussian?hl=ja

3DGS何もわからん！！！ あいうえおabcde12345有胃兎絵御 正直難しすぎて自分にもわかりません！！！ とりあえず普通のメッシュモデルではなく モヤの集合体が3Dモデルになっている というイメージで

3DGSの何が凄いの？フォトグラとの違い ● 写真(動画)の撮り方はフォトグラメトリと同じ (ただし回転台の使用は不可) あいうえおabcde12345有胃兎絵御 ● ● ● フォトグラメトリだと難しい単色に対応可能！ フォトグラメトリだとモデル化不可能な半透明な物体の 3Dモデル化が可能！ その他フォトグラメトリだとモデル化が難しい細かい部分 も3DGSなら3Dモデル化が可能！

動画C あいうえおabcde12345有胃兎絵御 https://drive.google.com/file/d/1PV0c9_Em7QEKRL8935HXdlyCIGqqdONj/view?usp=sharing

3DGSについてのまとめ あいうえおabcde12345有胃兎絵御 目的やスキャンしたい物に合わせて フォトグラメトリと3DGSを使い分けるのが 重要！！！

もっと3DGSを詳しく知りたい人はこちら あいうえおabcde12345有胃兎絵御 驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する パナソニック アドバンストテクノロジー株式会社 @scomup(Liu Yang) https://qiita.com/scomup/items/d5790da25a846e645de1

• https://qiita.com/scomup/items/d5790da25a846e645de1

質問＆相談コーナー あいうえおabcde12345有胃兎絵御 質問＆相談コーナー