816 Views
May 29, 25
スライド概要
Power BI LT会 #12発表内容
Microsoft FabricのNotebookで 自作Pythonパッケージを(C++も) 2025年5月 k_maki
前置き 1. FabricのNotebookとは? ① FabricでPythonなどを使えるようにするもの a. PySparkによるデータ変換(データ エンジニアリング) b. 機械学習ライブラリーによるデータ サイエンス ② Pythonを使えるので、パッケージを追加すれば割と何でもできる 2. ローカルでの計算をFabricでやりたい ① 自社にコード資産がある(Python, C++) ② 端末を用意したくない(セキュリティ、スペック、、) ③ データの受け渡しが手間。最後はPower BIで可視化するし。 3. 作業はWindows 11で
全体像 .py .whl .whl .cpp .so
ピュアPython①: 環境構築 1. Python 3.11(バージョンはFabricのNotebookに合わせる) ① setuptools 2. VS Code ① Python (①以下の階層はパッケージや拡張機能)
ピュアPython②: やってみる 1. VSCodeでの作業 ① Pythonで独自モジュール(.pyファイル)を作成 ② setuptoolsでパッケージ作成(.whlファイル)。.pyファイルをまとめる。 2. Fabricでの作業 ① .whlファイルをLakehouseのFilesに保存 ② Notebookでインポート&実行
C++拡張①: 環境構築 1. Ubuntu on WSL2 ① g++ ② CMake ③ Python 3.11 (バージョンはFabricのNotebookに合わせる) a. setuptools b. pybind11 2. VS Code ① C++ ② CMake ③ Python (①以下の階層はパッケージや拡張機能)
C++拡張②: やってみる 1. VSCodeでの作業 ① C++コード(.cppファイル)を作成 ② CMakeファイル(CMakeLists.txt)を作成 ③ g++&CMakeでC++コードをコンパイル(.soファイルへ) ④ (必要に応じて)Pythonで独自モジュール(.pyファイル)を作成 ⑤ setuptoolsでパッケージ作成(.whlファイル)。.soファイルと.pyファ イルをまとめる。 2. Fabricでの作業 ① .whlファイルをLakehouseのFilesに保存 ② Notebookでインポート&実行
思ったこと 1. 初めてWSLを使ってみたけどapt-getは便利。 2. Fabric, Python, C++, Linuxの知識が全部必要。 3. 途中でCopilotにいろいろ教えてもらい助かった。 4. Fabricよりもリソースを柔軟に変えられるDatabricksでやっ た方が有用かも。 5. 全くPower BIを使わなくて、すみませんでした。
参考 1. Windows, C++, Pythonの例 Pybind11でC++関数をPythonから実行する(Windows & Visual Studio Codeな人向け) 環境構築編 #VSCode - Qiita 2. WSL2 【Ubuntu日和】【第72回】Windows上でシームレスにLinux を動かせる! WSLで改めてUbuntuに入門しよう - PC Watch 3. VSCode with WSL2 WSL で VS Code の使用を開始する | Microsoft Learn