367 Views
August 21, 25
スライド概要
#p_UG 東京:夏のデータ活用大共有会 データ活用の第一歩からAIにやさしいデータ基盤までお届け!
https://pug.connpass.com/event/364357/
での登壇資料です
株式会社HERPのエンジニアです
非開発者に dbtやMetabaseで「ふつうに」 SQL を書いてもらうためにやったこと 〜データ活用の文化と仕組みをアジャイルに拡大する〜 株式会社HERP 宮﨑章太(@mazamachi) 1
登壇者について - 宮﨑章太/mazamachi/まざっち - 株式会社HERP ソフトウェアエンジニア - 2017年12月に新卒としてHERPに入社。入社後はいろいろを担当し、現 在もいろいろを担当。 - 2021年頃からデータチームを作り、現在はそのチームのチームリード。 2
株式会社HERPについて 「採用を変え、日本を強く。」をミッションに掲げるHRtechの会社です。採用する企業・求職者・彼らをつなぐエージェントの方々のマッ チングを高めるようなサービスを複数展開しています。 採用を変え、日本を強く。 ミッション 求職者 マッチング 企業 採用管理システム タレントプールシステム 分析ダッシュボード リファレンスチェックサービス 人材紹介会社向け求人管理システム 求人サイト 提供サービス 3
株式会社HERPについて 「採用を変え、日本を強く。」をミッションに掲げるHRtechの会社です。採用する企業・求職者・彼らをつなぐエージェントの方々のマッ チングを高めるようなサービスを複数展開しています。 採用を変え、日本を強く。 ミッション 求職者 マッチング 企業 採用管理システム タレントプールシステム 分析ダッシュボード リファレンスチェックサービス 人材紹介会社向け求人管理システム 求人サイト 提供サービス 全ての箇所で、データ基盤を活用して事 業を運営している 4
データ基盤の活用先 HERP Hireユーザーに embedded BI によって カスタマーサクセスが日々見るダッシュボードを BIで 可視化・レポーティング機能を提供 提供したり、SFAツールにリバース ETLしたり データ基盤が事業価値に直接的にも間接的にも貢献 している 5
最近のデータ基盤ユーザー 非開発者でも Devinを使ってデータ基盤にコミッ 営業出身の事業責任者が生成 AIを使って SQL ト を書き、metabase で自分で可視化 エンジニアはレビューするだけ 6
HERP のデータ活用事例から共有したい知見 - HERP は自分たちが想像していたよりも データ活用のセルフサービス化が進んでいる。 - データ活用を(非開発者も含め)自分たちで進める文化が元々あった - さらに、生成AIの登場によってますますハードルが下がっている → HERP で行ってきたデータ活用を広める取り組みや知見について紹介したい 7
データ活用組織になるためのプラクティス(一般論) 『実践的データ基盤への処方箋』より 集権型から始めて、成熟と共に分権型、ハイブリッド型に移っていくのがプラクティス 8
データ活用組織になるためのプラクティス(一般論) 『実践的データ基盤への処方箋』より HERPでは、この順に進まなかった 集権型から始めて、成熟と共に分権型、ハイブリッド型に移っていくのがプラクティス 9
HERP のデータ活用組織の変化 ①:最初期(Redashの導入) - プロダクトローンチ後のカスタマーサクセス組織立ち上げにあた り、「ユーザーのヘルススコアを可視化・モニタリングしたい」と いうニーズが表出 - BIツールRedashの導入やヘルススコア設計を共に行い、ダッ シュボードやアラートを実装 - →その後のカスタマーサクセス組織の基礎に 「データ活用」してみたいが知見のない1人のエンジニアが、 課題のステークホルダーと深く協力 してデータ活用することで、 社内の成功事例を最初に作れた のが文化の基盤となった 10
HERP のデータ活用組織の変化 ②:初期(Redashの普及) - Redash というツールを手にしたことで、解決できる課題や出来る業 務が一気に広がった - e.g. 新機能の活用状況を見たい、あるユーザーが抱えている課題を他のユーザー も抱えているか数字で検証したい、 …… - エンジニア、カスタマーサクセス、プロダクトマネージャー、デザイ ナー、などなど、それぞれのチームに Redashの使い方を教え、活 用してもらえるように 1人のエンジニアに閉じていたデータ活用の知見をガンガン広め、チームで 1人はRedashを使ってデータ活用する状態 が自然とできた 11
HERP のデータ活用組織の変化 ③:変革期(BigQuery などへの移行) - サービスやチームが増えたことで、素朴なデータ基盤での限界が明 らかになってきた - TROCCO, BigQuery, dbt, Metabase などをもちいて、より使いや すいデータ基盤をつくるチームが発足 - この辺の技術的なところは Embulkでのデータ転送の壁 フルマネージド ETLが変え るデータ基盤構築 〜HERPが体感した効果とメリット〜( trocco ウェビナー登壇資 料) でもお話ししています - 最初はそのチームで、これまでの分析では難しかったデータ活用を 実践 - e.g. Google Analytics でのログを用いたヘルススコアの追加、サービスをまたいだ 活用度の確認、リバース ETLを用いたサービスへのデータ分析機能組み込み あらためて「データチーム」が新データ基盤を使って成功事例を創出し、 新データ基盤の ˮうれしさ ˮを宣伝 12
HERP のデータ活用組織の変化 ④:普及期(dbt などモダンなデータ基盤の普及) - 新データ基盤への興味を持つ人が自然と増えた - Redash 時代からデータ活用してくれていた人は自然と新基盤を使うように - 業務の中心に Metabase があるチームも増えたので、自然と自分でカスタマイズし てくれるように - データチームでは使いやすさやガバナンスの向上、ドキュメンテー ションなどを主に担い、データ活用は更に進むように - dbt-core を使うための GitHub の使い方や環境構築の仕方も非開発者にむけてド キュメントを用意したりしていた データを使う人、基盤をメンテする人が分けられ、ハイブリッドな組織に 移行 13
HERP のデータ活用組織の変化 ⑤:繁栄期(生成 AIの登場) - 生成AIが登場したことで、キャッチアップのハードルが更に下がり、自 分で分析する人が更に増えている - 生成AIに手伝ってもらって dbt を書いたり、metabase でSQLを書 いたり - - (冒頭の事例) 一方で、ルール整備や異常検知もしなければならない - これも生成 AIに手伝ってもらいながらやっている ハイブリッドな組織ではあるが、生成AIを前提としたパラダイムシフトが起 きている 14
(やや余談)データ活用を生成 AIで楽にするためにやっている取り組み - Devin 導入して一番最初に CI を強くしてもらって、今後増えるであろうPRのレビューを楽に進めら れるように - データ基盤を触る人が増えたので、dbt docs や dbt osmosis を利用してメタデータを拡充 - 直接クエリ実行権限ではなくメタデータを閲覧する権限 を広く配り、生成AIにクエリを書かせるよう にしてもらう - 各種ドキュメントを NotebookLM に与えておくことで、対話的なヘルプをできるように このへんの取り組みはチームメンバーのブログも参照: データ領域の Platform Engineering と「データ利活用体験」の向上 - 30歳からのプログラミング 15
HERP のデータ活用組織の変化 ⑥:これから、二回目の進化期 - これまで、プロダクトのデータ活用を中心に行っていたが、CRMや SFAのデータなども更に活用していきたい - この成功事例をデータチームでまた改めて作って、広めていく必要性 を感じている ハイブリッドではあるものの、より「集権的」なモードに意図的に戻る選択 肢がある 16
「アジャイル」なやり方 Don’t Know What I Want, But I Know How to Get It – We help you create successful product culture and process https://jpattonassociates.com/dont_know_what_i_want/ より引用 17
HERP での経験から、思う「アジャイルな」データ組織作り その時々で必要な程度に分散・ハイブリッドにして、課題や社会の変化に応じて仕組み を変えながら、より高度なデータ活用ができる組織を目指すのが、一番「文化」に繋が るのでは? 18
まとめ - データ組織作りもアジャイルにやっていきましょう - データ基盤づくりをアジャイルにする話は昔の TROCCO ウェビナーに登壇させて頂いた際の資料か らどうぞ - Embulkでのデータ転送の壁 フルマネージド ETLが変えるデータ基盤構築 〜HERPが体感した効果とメリット〜( trocco ウェビ ナー登壇資料) - もっと聞きたい・ディスカッションしたい方は懇親会やカジュアル面談からどうぞ - データエンジニア積極採用中です!!https://herp.careers/v1/herpinc/topyC6CeA8c5 19