建築・BIMと XR/空間コンピューティングによる身体性の変化、AI/大規模言語モデルの活用(20241206_建築学会情報シンポ)

建築・BIMと XR/空間コンピューティングによる身体性の変化 AI/大規模言語モデルの活用 2024/12/06 株式会社ホロラボ 代表取締役 CEO 中村 薫

目次 • ホロラボの会社紹介 • XR/空間コンピューティングによる身体性の変化 • AI/大規模言語モデルの活用 Copyright© HoloLab Inc. All rights reserved 2

このスライドについて このスライドは後ほど皆様へ展開していただきますので、 お手元でゆっくりご覧ください Copyright© HoloLab Inc. All rights reserved 3

会社概要 4

会社概要 株式会社ホロラボ XRや空間コンピューティング技術を活用した 事業内容 ・パッケージ製品の開発および販売 ・受託システム開発 ・技術開発支援及びコンサルティング ・3Dスキャン及びデジタルアーカイブ 設立 2017/1/18 住所 東京都品川区西五反田 8-3-6 TK五反田ビル1階 資本金 93,940,000円 (2019/8増資) 取締役 3名 従業員 65名 Web https://hololab.co.jp/ Confidential - Copyright© HoloLab Inc. All rights reserved

• https://hololab.co.jp/

ホロラボのミッション

Mixed Reality黎明期より蓄積した経験と実績 2018.11 JR東日本様 2018.3 NHK様 2019.5 トヨタ自動車様 2021.4 2021.3 NTTドコモ＆森ビル様 大林組様 202３.5 日建設計総合研究所様 主要な プロジェクト 2020.5 2019.2 mixpace リリース パッケージ サービス HOLO-COMMUNICATION 2021.1 torinome TechniCapture 2023.10 Assists 手放しマニュアル 2017.1 ニュース 創業 2017 2019.8 資金調達 2017.11 202２.１２ 202４.4 2018.7 資金調達 2018 2019 2020 Copyright© HoloLab Inc. All rights reserved 2022 2024 7

メーカーとのパートナーシップを取得 Apple Consultants Network Microsoft Mixed Reality Partner Meta Work Partner ©2024 HoloLab Inc. All Rights Reserved. QONOQ MiRZA ソリューションパートナー 8

今年発売されたデバイス Apple Vision Pro 2024/6/28(金) 日本発売開始 Meta Quest ３S 2024/10/15(火) 日本発売開始 NTT QONOQ Devices MiRZA 2024/10/16(水) 日本発売開始 • 光学シースルー：Microsoft HoloLensと同じように、グラス越しに現実が見える • ビデオシースルー：キヤノン MREALと同じように、デバイス付属のカメラ越しに現実が見える Copyright© HoloLab Inc. All rights reserved 9

XR/空間コンピューティングによる身体性の変化 10

昨年同様に XR、BIM、AIが盛り上がっていますね！ Copyright© HoloLab Inc. All rights reserved 11

空間コンピューティング • Apple • デジタルコンテンツを現実の世界とシームレスに融合しながら、実世界や周囲の人との つながりを保つことができる革新的な空間コンピュータ • 2023年 Apple Vision Pro 発表時のプレスリリース • https://www.apple.com/jp/newsroom/2023/06/introducing-apple-vision-pro/ • 最初の定義とされるもの • 空間コンピューティングとは、人とマシンとの相互作用（interaction）であり、その中で マシンは現実のものや空間を参照し、保持し、操作する。これは、仕事や遊びにおいてマ シンを完全なパートナーとするための重要なコンポーネントである。 • 2003年、米国マサチューセッツ工科大学（MIT） の Simon Greenwold 氏 • https://www.ibm.com/blogs/smarter-business/business/spatial-computing-future-of-ai/ • https://acg.media.mit.edu/people/simong/thesis/SpatialComputing.pdf Copyright© HoloLab Inc. All rights reserved 12

• https://www.apple.com/jp/newsroom/2023/06/introducing-apple-vision-pro/
• https://www.ibm.com/blogs/smarter-business/business/spatial-computing-future-of-ai/
• https://acg.media.mit.edu/people/simong/thesis/SpatialComputing.pdf

空間コンピューティング • この講演の中での空間コンピューティングはAppleの定義(≒ Apple Vision Pro)とします。 • デジタルコンテンツを現実の世界とシームレスに融合しながら、実世界や周囲の人との つながりを保つことができる Copyright© HoloLab Inc. All rights reserved 13

ホロラボでいろいろ作ってみました Copyright© HoloLab Inc. All rights reserved 14

mixpace • ホロラボで開発・提供をしている建築製造向けサービス • Apple Vision Pro 版も提供中 • 高解像度によって今まで以上に高品質に見える Copyright© HoloLab Inc. All rights reserved https://apps.apple.com/jp/app/mixpace/id6475564743?mt=8 15

• https://apps.apple.com/jp/app/mixpace/id6475564743?mt=8

建築モデルビューアー for ArchVizPro Interior Vol.4 • マテリアル調整による、高品質な建築体験 • 実際の家具の質感を見ながら、Apple Vision Pro に反映 Copyright© HoloLab Inc. All rights reserved 17

カーコンフィギュレーター • マテリアル調整による、高品質な乗車体験 • 色や内装、車種の変更が可能 Copyright© HoloLab Inc. All rights reserved 19

樹木図鑑 • 実際の樹木を3Dスキャンし、点群からメッシュ化 • パースやデジタル模型での点景などで、日本の樹形が欲しい場合にぜひ 文化庁 令和５年度博物館機能強化推進事業InnovateMUSEUM Copyright© HoloLab Inc. All rights reserved 事業の支援により、「地域共創協学デジタル化基盤整備事業 測量データ取得：小川 拓郎（九州大学人間環境学研究員） 【中核館：九州大学総合研究博物館】」にて作成 21

沖本家住宅 • 東京都国分寺市にある、国登録有形文化財をデジタルアーカイブ • 3Dスキャンおよびフォトグラメトリで、形状と色の品質を両立したモデル Copyright© HoloLab Inc. All rights reserved 23

3Dで設計を • Rhinoceros + Grasshopper Copyright© HoloLab Inc. All rights reserved 25

株式会社日建設計 (Apple Vision Pro) • Apple Vision Pro を建築設計での模型のデジタル化に利用 メディアでの紹介ページ https://mag.tecture.jp/culture/20240610-whitemodel/ Copyright© HoloLab Inc. All rights reserved 27

• https://mag.tecture.jp/culture/20240610-whitemodel/

株式会社日建設計 (Apple Vision Pro) Apple Vision Pro の高精細なディスプレイにより、モデル表示解像度が設計 者目線でも満足し、建築設計業務への活用が可能になりました。 • 肉眼で見ている状態と、Apple Vision Pro を通して見ている状態がほとんど 変わらない • BIMを取り込んだデータと物理的な模型とを比較して、違和感がほとんどない Copyright© HoloLab Inc. All rights reserved 28

物理模型とデータ体験の比較 • Apple Vision Pro でデータを見るメリット • 基本計画フェーズのような、様々なデザイン候補から選ぶ場合にも、データを並べて置く ことで模型の比較のように利用ができる • 基本設計フェーズのような、設計データが高頻度に変わる場合でも立体的、模型的、実 寸で体感できる • デジタルの柔軟性 • 模型サイズから実寸のようにサイズ変更が可能 • マテリアルを変更することによりデザインの変更や白模型化が可能 • 物理模型のメリット • 最終的な質感や物理から感じられる感覚での合意形成 Copyright© HoloLab Inc. All rights reserved 29

AI/大規模言語モデルの活用 30

BI(Business Intelligence) Copyright© HoloLab Inc. All rights reserved 31

AIの前にBIのお話を… • BIもAIもデータがデータベースに格納されてこと力を発揮する • BIMの”I”(Information:情報）が本当の意味でDB化されることで、BIやAI としての利用が可能になる • ジオメトリに寄ることが多かったBIMが、BIやAIによって情報として利用できる ようになった Copyright© HoloLab Inc. All rights reserved 32

建物みえるくん Copyright© HoloLab Inc. All rights reserved 33

建物みえるくん Copyright© HoloLab Inc. All rights reserved 34

建物みえるくんのシステム構成図 Copyright© HoloLab Inc. All rights reserved 35

建物みえるくん・改 Copyright© HoloLab Inc. All rights reserved 36

建物みえるくん/みえるくん・改のシステム構成図 Copyright© HoloLab Inc. All rights reserved 37

Webシステムでの生成AI活用 Copyright© HoloLab Inc. All rights reserved 38

ホロラボでの生成AIの取り組み 業務上必要な情報を集めるためには、さまざまな情報ソースに当たらなくてはな らない状況を改善するために、情報ソースをデータベースに格納し、情報検索を 可能にする。 情報検索を可能にすることで、RAG(Retrieval-Augmented-Generation： 検索拡張生成)を組み合わせてLLM(生成AI)の利用が可能になる。 RAGを組み合わせたLLM(生成AI)の活用例 Copyright© HoloLab Inc. All rights reserved 詳しい技術情報はこちら https://youtu.be/ra_Gpfarpu0 39

• https://youtu.be/ra_Gpfarpu0

大成建設株式会社 R2-BIM Copyright© HoloLab Inc. All rights reserved 大成建設株式会社リリースページ https://www.taisei.co.jp/about_us/wn/2023/230711_9589.html 40

• https://www.taisei.co.jp/about_us/wn/2023/230711_9589.html

大成建設株式会社 C3-BIM Copyright© HoloLab Inc. All rights reserved 詳しい技術情報はこちら https://youtu.be/ra_Gpfarpu0 41

• https://youtu.be/ra_Gpfarpu0

仕事できるくん Copyright© HoloLab Inc. All rights reserved 詳しい技術情報はこちら https://youtu.be/ra_Gpfarpu0 42

• https://youtu.be/ra_Gpfarpu0

仕事できるくん • 熟練技術者の経験知をプロンプト化し、活用できるようにする • 熟練技術者の教育コストを抑える • AIを介した技術継承 Copyright© HoloLab Inc. All rights reserved 43

ホロラボでの生成AIの取り組み • デバイスでの生成AI活用 • Webシステムでの生成AI活用 • BIM(3Dデータ)との連携によるAI活用 Copyright© HoloLab Inc. All rights reserved 詳しい技術情報はこちら https://youtu.be/ra_Gpfarpu0 44

• https://youtu.be/ra_Gpfarpu0

XRデバイスでの生成AI活用 Copyright© HoloLab Inc. All rights reserved 45

ChatGPT/OpenAI連携 (QONOQ MiRZA) • MiRZAのカメラの画像から状況を解析 • 現場での危険認識などに活用できる可能性 Copyright© HoloLab Inc. All rights reserved MiRZAドキュメント https://www.devices.nttqonoq.com/developer/doc/samples-qonoq/list/ 46

• https://www.devices.nttqonoq.com/developer/doc/samples-qonoq/list/

デバイス内で動作するLLM (Apple Vision Pro) • Apple Vision Pro のデバイス内で MetaのLlama 3.2 1Bが動作 • デバイス内で動作するため非常に高速 Copyright© HoloLab Inc. All rights reserved 47

この先の進化 48

グラス型デバイスと生成AI/LLMの統合 • あくまでも噂話として • マルチモーダルの入力機器としてのグラスデバイスの可能性 Copyright© HoloLab Inc. All rights reserved 49 https://techcrunch.com/2024/11/26/perplexity-mulls-getting-into-hardware/ https://miralab.co.jp/media/openai_meta_caitlin-kalinowski/

• https://techcrunch.com/2024/11/26/perplexity-mulls-getting-into-hardware/
• https://miralab.co.jp/media/openai_meta_caitlin-kalinowski/

まとめ 50

まとめ • Apple Vision Pro と建築設計は相性が良い • 生成AI/LLMはBIMのInformationと相性が良い • 将来的には、これらが統合されていくという予想 Copyright© HoloLab Inc. All rights reserved 51

http://hololab.co.jp/wp-content/uploads/2017/01/title.png https://hololab.co.jp/#contact https://hololab.co.jp/#contact 52

• https://hololab.co.jp/