はじめに前回の記事でDatabricks Labs「Ontos」をローカルで動かして、機能をひと通り触ってみました。今回は、自社のデータ基盤に対して各機能を検証して、 今の時点での導入判断 を書きます。先に結論だけ言うと、 今すぐのフル導入は見送り。ただしウォッチは続ける です。ツール自体のポテンシャルは感じていて、アップデートやチーム体制の変化次第では導入する可能性は十分ある。同じようにデータガバナンスツールの導入を検討しているチームの参考になればと思います。!Ontosの概要・セットアップ・各機能の紹介は前回の記事にまとめています。 評価対象: データ基盤の規模...

dbt環境にデータガバナンスツールは必要か？ — Ontosを評価した結論

はじめにグループ企業が増えてくると、各社固有のビジネス用語が大量に出てきます。「稼働率」「原価率」「アクティブユーザー」——同じ言葉なのに事業会社ごとに定義が微妙に違っていたり、そもそも何を指しているのかわからなかったり。正直、テーブル数の増加よりこっちのほうが深刻でした。できればAIネイティブに、自然言語で「この用語なに？」と聞いたら答えてくれるような仕組みが欲しい。そんなとき、DatabricksのSEの方に教えてもらったのが、Databricks Labsが公開しているOntos（Unity Catalog向けビジネスカタログ）です。ローカルで動かして全機能を試してみたので...

Ontosの6機能を全部試した — コスト月$100からのデータガバナンス

はじめに元々クラシックワークスペースを使っていて、サーバレスワークスペースが出てからは「なんとなくサーバレス」を選んでいました。でも、実際のところ何が違うのかちゃんと理解できていなかったので、この機会に整理してみました。AWS版Databricksでワークスペースを新規作成するとき、サーバレスワークスペースとクラシックワークスペースの2種類が選べます。最近はサーバレスが推されていますが、「で、具体的に何が違うの？」と聞かれるとうまく答えられない......という方も多いんじゃないでしょうか。この記事では、その違いを4つの観点で整理しています。自分と同じように「なんとなく選んでる...

Databricksワークスペース、サーバレスとクラシックって何が違うの？整理してみた

はじめにEXPLAINでヘルスチェックを実装した。117クエリすべてがパスした。だがダッシュボードは壊れていた。この記事では、dbt更新後にDatabricks Lakeviewダッシュボードの破損を自動検知してSlack通知する仕組みを構築した経験を共有します。dbt更新後のダッシュボード破損を自動検知し、Slackに通知する仕組みを作ったEXPLAINだけでは検知できない問題領域があり、query.historyとのハイブリッド方式に辿り着いたUnity Catalog標準機能のみ、追加インフラ不要で実現 背景：なぜ必要だったか弊社のとある事業のデータ基盤では...

さっく

dbt環境にデータガバナンスツールは必要か？ — Ontosを評価した結論

Ontosの6機能を全部試した — コスト月$100からのデータガバナンス

Databricksワークスペース、サーバレスとクラシックって何が違うの？整理してみた

全クエリがパスしたのにDatabricksダッシュボードは壊れていた話