dbtCloudとdbtCoreのハイブリッド利用

はじめに

dbtにはOSS版の「dbtCore」とSaaS版の「dbtCloud」があります。

dbtCoreは無料かつ開発を楽にするPythonライブラリを使用できますが、dbtCloudのデプロイ機能やCI機能などが搭載されていません。

しかし、dbtCloudでは、dbt-osmosisといったdbt用のPythonライブラリが使えず、複数人で開発するケースだと、1シート(ユーザ)あたり100ドルかかってしまいます。

実は、dbtCloudで初期化したリポジトリをdbtCoreでクローンし、profiles.yml等の認証設定ファイルを設定するだけで、dbtCloudとdbtCoreを併用して開発・デプロイすることができてしまいます。

前提

• 先にdbtCloudでプロジェクトを作成している
• バージョン管理はGitHubを使用

環境

• dbtCloud
• dbtCore（今回はDockerですがPythonが使えればローカルやvenvでも○）
• VSCode
• GitHub
• Snowflake

事前準備

• GitHubで空のリポジトリを作成

環境構築

dbtCloud

作成したリポジトリを元にdbtプロジェクトを作成、初期化します。

ブランチ作成

以下の作業ブランチを使用します。

• main
• dev_dbtcore（GitHubから作成）
• dev_dbtcloud（dbtCloudから作成）

dbtCore

dbtCoreの環境構築は、以下記事のGit連携まで進めます。
https://knowledge.insight-lab.co.jp/bi/-dbtcore-simple-start

この記事の中で、CLONEするgitリポジトリをdbtCloudで初期化したリポジトリで行います。

　git clone xxxxxxx.git

※ユーザ名とトークンを入力

dbtCoreをインストールします。

python -m pip install dbt-snowflake

~/.dbt/profiles.ymlを作成

my_new_project:
  target: dev
  outputs:
    dev:
      type: snowflake
      account: xxxxxxxxx.ap-northeast-1.aws
      database: xxxxxxxxxxxx
      password: xxxxxxxxxxxx
      role: xxxxxxxxxxxx
      schema: dev_uta
      user: xxxxxxxxxxxx
      warehouse: xxxxxxxxxxxx

ブランチをdev_dbtcoreに切り替えます。

dbtCloudで既にinitしているため、profile設定が’default’になっています。ここをprofiles.ymlに設定した名称に変更します。

以下のコマンドを実行し、dbtCoreの設定に不足なく正しく動作する状態か確認します。

dbt debug

実行確認

dbtCore

dbtCloudで作成していたモデルを実行してみます。

dbt run --select stg_sale

Snowflake側にモデルのSQLが実行されています。

GitHub

変更をCommit/Syncします。

GitHubを確認すると、origin/dev_dbtcoreに変更が来ているので、プルリクを作成。

mainブランチにマージします。

dbtCloud

mainブランチへのマージが完了すると、Version controlがPull fom “main”に変わります。

Pullが完了するとprofileの記述が、dbtCoreで編集した内容に変更されます。

おわりに

今回は、dbtCloudで使用していたリポジトリをDockerコンテナ上でクローンし、dbtCoreとdbtCloudの両方で併用できるか検証しました。

dbtCoreで開発し、dbtCloudでデプロイするといったハイブリッドな利用ができると、開発メンバーが何人いても無料で開発を行い、デプロイはdbtCloud1アカウントの契約だけで利用できるので、コスト削減になります。

また、dbtCoreで開発作業ができると、dbt開発を加速させるPythonライブラリを使用することができるので、是非お試し下さい。