--- title: 【OpenMetadata X Snowflake】でデータカタログ化 description: snowflake image: https://knowledge.insight-lab.co.jp/hubfs/omd-logo.svg --- ![INSIGHT LAB](https://knowledge.insight-lab.co.jp/hs-fs/hubfs/INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF_WHT-1.png?width=400&height=110&name=INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF_WHT-1.png) ![INSIGHT LAB](https://knowledge.insight-lab.co.jp/hs-fs/hubfs/INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF.png?width=400&height=110&name=INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF.png) [![お問い合わせ](https://hubspot-no-cache-na2-prod.s3.amazonaws.com/cta/default/5935783/c64a7bb0-e32a-499b-851b-b4e7a66da275.png)](https://hubspot-cta-redirect-na2-prod.s3.amazonaws.com/cta/redirect/5935783/c64a7bb0-e32a-499b-851b-b4e7a66da275) - [Snowflakeとは](https://service.insight-lab.co.jp/snowflake) - [SNOWFLAKEナレッジ](https://knowledge.insight-lab.co.jp/snowflake) - [お役立ち資料](https://download.insight-lab.co.jp/snowflake/download) ###### 1 分で読むことができます # [【OpenMetadata X Snowflake】でデータカタログ化](https://knowledge.insight-lab.co.jp/snowflake/openmetadataとは) 執筆者 [SHOW](https://knowledge.insight-lab.co.jp/snowflake/author/show) 更新日時 2023年11月17日 ###### Topics: [snowflake](https://knowledge.insight-lab.co.jp/snowflake/tag/snowflake) ![](https://knowledge.insight-lab.co.jp/hubfs/omd-logo.svg) 目次 みなさんこんにちは、INSIGHT LAB株式会社のSHOWです。 本記事はOpenMetadataを使ってSnowflake内のデータをカタログ化してみた記事となります。 自社が保有するデータを利活用することが、どれだけ大切かは私が言うまでも無く皆様ご理解いただけていると思います。 ですが、その利活用をどう進めていけば良いのか？今社内にはどんなデータがあるのか？誰が管理しているのか？などの悩みの種があり、思うように利活用を進められないのが現実です。 ですが、まずは一歩づつできるところから始めてみてはいかがでしょうか？ 例えば、社内に散らばったデータを一箇所で管理運用するデータカタログ化などです。 今回はOSS製のOpenMetadataと呼ばれる製品のご紹介記事でございます。OSSの強みの一つにフリーライセンスがあげられます。スモールスタートでデータカタログを試す良い製品でもあります。 この機会にぜひデータカタログ化をご検討してみてはいかがでしょうか。それでは早速ご紹介したいと思います。   ## 前提 最初に前提のお話をします。 - OpenMetadataの詳細な構築方法は割愛させていただきます - ターゲットとなるSnowflakeは個人のフリーアカウントを利用しました ## Openmetadataとは？ OpenMetadataは企業が持つメタデータを一箇所に集め運用管理を行うことでデータエンジニアへの負荷を下げる効果があります。 その他特徴としては、データ連携を行える、メタデータのバージョニング、データのリネージュ化、幅広いコネクタをサポートしており、データを集めやすい環境があります。 詳細は[公式ドキュメント](https://open-metadata.org/)を参照ください。 ## OpenMetadataのアーキテクチャ OpenMetadataをどのような形で構築しようとも、必ず必要となるサーバが4つ存在します。 - OpenMetadataメインサーバ - Airflow - MySQL - ElasticSearch です。 OpenMetadata公式のクイックスタートのDockerを利用する際は、上記サーバがDockerで動くようになっています。 これはあくまでPoC的に利用することを前提としており、本番運用を見据えた場合は、各サーバを管理できる単位に切り分けた方が良いとのことです。 例えば、AirflowはAWS MWAAを利用したり、MySQLはAmazon RDS for MySQLを利用したりすることを推奨しています。 ## OpenMetadataの重要な機能 OpenMetadataには重要な機能が数多くありますが、その中でも特に重要な機能を1つ紹介します。 それはIngestion機能です。簡単に説明すると、この機能を使ってDBやDWHからメタデータを収集する機能です。 メタデータとは、データベース、スキーマ、テーブル、クエリなどの情報を指します。 ## Ingestionを使ってSnowflakeのデータを収集する Ingestionを使ってSnowflakeのデータを収集する前に、まずはSnowflake との接続を確立しなければならないです。 今回はjaffle\_shopのデータを事前にSnowflake に取り込んでいるので、そのデータがOpenMetadata上でどのように表示されるのか見て行きましょう。 Snowflakeとの接続を作成すると以下のように表示されますい。 ![OMD1](https://knowledge.insight-lab.co.jp/hs-fs/hubfs/OMD1.png?width=1752&height=816&name=OMD1.png) 続けてIngestionを作成していきます。 今回はSnowflake 上のjaffle\_shopのテーブルやスキーマなどのメタデータを収集したい為、Metadata Ingestionを作成します。 作成後、Ingestionを実行します。 ![OMD2](https://knowledge.insight-lab.co.jp/hs-fs/hubfs/OMD2.png?width=3476&height=218&name=OMD2.png) 問題なく実行できていれば、「Success」と表示されます。 実はこのIngestionは裏ではAirflowが動いています。 そのため、Ingestionを定期的に実行し、常に最新のデータを収集することができます。 Ingestionには他にも種類があるため、気になる方は公式ドキュメントを確認していただきたいです。 それでは実施に収集したデータがOpenMetadata上でどのように表示される確認してみましょう。 ![OMD3](https://knowledge.insight-lab.co.jp/hs-fs/hubfs/OMD3.png?width=3510&height=1282&name=OMD3.png) 例としてRAW\_PAYMENTSテーブルを見てみると、テーブルのカラム名が表示されていることがわかると思います。 それ以外にも多くの情報を集めることが出来ます。 例えば、以下のようなことができます。 - テーブルに格納されている実際のデータを収集し、表示可能 - リネージを表示可能 - OpenMetadataでテスト（Unique / Not null）を実施でき、その結果を表示可能 - dbtとの連携も可能 それ以外にもOpenMetadataには多くの機能が備わっており、ここで紹介し切れるものではありません。気になる方は是非実機でお試しいただければと思います。 ## 最後に フリーライセンスでここまでできれば十分ではないでしょうか。むしろ出来ることが多すぎて悩んでしまうぐらいですね。 なんと言っても最大のメリットはOpenMetadata自体にお金が掛からないことです。 もちろんインフラ面のランニングコストは発生しますが、よく分からない有償のカタログ製品も何百万円もかけなくて済むのは大きいメリットだと思います。 まずはスモールスタートから始めて運用し、その後色々と課題ややりたいことが見えてくると思います。そうなったらそれを実現できる製品を選定すればコストを抑えることができます。 この機に是非社内に散らばっているデータを一箇所に集めて運用管理してみてはいかがでしょうか。                                       Snowflakeを体験してみませんか？ INSIGHT LABではSnowflake紹介セミナーを定期開催しています。Snowflakeの製品紹介だけでなく、デモンストレーションを通してSnowflakeのシンプルなUI操作や処理パフォーマンスの高さを体感いただけます。 [![詳細はこちら](https://hubspot-no-cache-na2-prod.s3.amazonaws.com/cta/default/5935783/0d0b0d86-fdb7-4351-ab14-d482c854defc.png)](https://hubspot-cta-redirect-na2-prod.s3.amazonaws.com/cta/redirect/5935783/0d0b0d86-fdb7-4351-ab14-d482c854defc) - [Tweet](https://twitter.com/share) #### 執筆者 [SHOW](https://knowledge.insight-lab.co.jp/snowflake/author/show) ###### [前の投稿](https://knowledge.insight-lab.co.jp/snowflake/-apache-kafkasnowflake-ストリーミング処理について) [![](https://knowledge.insight-lab.co.jp/hubfs/Kafka_Vendor_Product_Logo.svg)](https://knowledge.insight-lab.co.jp/snowflake/-apache-kafkasnowflake-ストリーミング処理について) ###### [【Apache Kafka×Snowflake】ストリーミング処理をサクッと試してみた](https://knowledge.insight-lab.co.jp/snowflake/-apache-kafkasnowflake-ストリーミング処理について) ###### [次の投稿](https://knowledge.insight-lab.co.jp/snowflake/-external_network_access_switchbotapi) [![【禁断の検証？】Snowflake上でタスクエラーが発生していたら部屋のライトを赤色に点灯させる](https://knowledge.insight-lab.co.jp/hubfs/pato_lamp_on_red.png)](https://knowledge.insight-lab.co.jp/snowflake/-external_network_access_switchbotapi) ###### [【禁断の検証？】Snowflake上でタスクエラーが発生していたら部屋のライトを赤色に点灯させる](https://knowledge.insight-lab.co.jp/snowflake/-external_network_access_switchbotapi) RECOMMEND こちらの記事も人気です。 ###### 4 分で読むことができます。 ##### [Snowflakeの料金体系｜クレジットと費用最適化のポイントをご紹介](https://knowledge.insight-lab.co.jp/snowflake/pricing) ###### 2021年 6月 28日 ###### 12 分で読むことができます。 ##### [【Snowflake×dbt】データパイプライン構築](https://knowledge.insight-lab.co.jp/snowflake/dbt-data-pipeline) ###### 2022年 6月 17日 ###### 1 分で読むことができます。 ##### [Snowsightでどこまでできるか！？限界に挑戦！](https://knowledge.insight-lab.co.jp/snowflake/snowsight-executive-dashboard) ###### 2023年 12月 14日 ###### 5 分で読むことができます。 ##### [【禁断の比較？】SnowflakeとTreasure Dataを比べてみました](https://knowledge.insight-lab.co.jp/snowflake/snowflake-vs-treasuredata) ###### 2021年 5月 24日 ###### 5 分で読むことができます。 ##### [【Snowflake】新機能「Streamlit in Snowflake」とは何者か！？](https://knowledge.insight-lab.co.jp/snowflake/-snowflake-streamlit-in-snowflake-introduce) ###### 2023年 9月 21日 ###### 2 分で読むことができます。 ##### [【Snowflake】get\_ddl関数でオブジェクトの定義を取得して再利用する](https://knowledge.insight-lab.co.jp/snowflake/function-get-ddl) ###### 2020年 7月 28日 ##### 運営会社 運営会社 - [会社概要](https://insight-lab.co.jp/about/) - [お問い合わせ](https://contact.insight-lab.co.jp/main) ##### メニュー メニュー - [Snowflakeとは](https://service.insight-lab.co.jp/snowflake) - [Snowflakeナレッジ](https://knowledge.insight-lab.co.jp/snowflake) - [お役立ち資料](https://download.insight-lab.co.jp/snowflake/download) [![INSIGHT LAB](https://knowledge.insight-lab.co.jp/hs-fs/hubfs/INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF_WHT-1.png?width=200&height=55&name=INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF_WHT-1.png "INSIGHT LAB")](https://www.insight-lab.co.jp/) - [プライバシーポリシー](https://www.insight-lab.co.jp/privacy.html) Copyright © 2020 INSIGHT LAB, Inc.