お問い合わせ
7 分で読むことができます

trocco→Snowflake→Lookerでのデータ可視化の流れ

執筆者 bird 更新日時 2020年12月23日

本記事はSnowflake Advent Calendar 2020の23日目の記事となります。

こんにちわ。birdです。

今回は、troccoを使用してSnowflakeにデータを送りLookerで可視化してみようと思います。

使用するデータは、2017年全国学力・学習状況調査から中学生の数学のデータです。

そこからSnowflakeの関数を使用し、県ごとの偏差値を算出していきます。

深堀はせず、大まかな流れを記事にしています。

目次

troccoでローカルファイルをSnowflakeに送る

まずはデータを転送するテーブルを作成します。

テーブル名:DEMO_SHIRATORI

Snowflake_テーブル作成-2

それではtroccoで転送設定の作成をしていきます。

先にSnowflakeへの接続先情報を作成します。

接続先情報作成

trocco_接続情報編集-1

完成です。

転送設定の作成に移ります。

転送設定作成

転送設定名はdemoとします。

trocco_概要設定-1

入力ファイル形式は、CSV・JSONを選択できます。

ローカルのファイルを選択します。

trocco_転送元ローカルアップロードの設定-1

転送先Snowflakeの設定をします。

先程作成した接続先情報を読み込んで使用します。

trocco_転送先Snowflakeの設定-1

データプレビュー

生成されるテーブルのプレビューができます。

データ設定のカラム定義で転送先テーブルのカラム名を設定します。

元カラム名とデータ型は自動で入力されます。

torocco_データプレビュー

出力オプションの設定でもカラム設定をします。

trocco_出力オプション設定編集-1

(詳しく調べられていませんが、上記を設定しなくても転送はできます。

しかし、その場合Snowflake側で小数点以下が四捨五入されてしまいました。

上記を設定したところ、小数点以下も問題なく入りました。)

ジョブ実行

ジョブを実行していきます。

trocco_ジョブ実行詳細-1

成功したようです。

実行ログも表示されます。長いので割愛。

trocco_ジョブ完了-1

Snowflakeで確認します。

しっかり転送されていますね!

Snowflake_データプレビュー-1

troccoでの転送は以上となります。

特に難しい操作などなく、非常にわかりやすいです!

Snowflakeの関数で偏差値を算出する

転送したデータから偏差値を算出していきたいと思います。

使用する関数はSTDDEV()です。

指定したカラムから標準偏差を返してくれます。

AVG_SCORE:scoreの平均値

STDDEV_SCORE:scoreの標準偏差

DV:上記を利用して算出した偏差値

Snowflake_偏差値クエリ-2

偏差値を算出することに成功しました!

それではこちらのデータをLookerで可視化したいと思います。

Lookerで可視化

先程算出した偏差値などのデータは新しいテーブルに保存しておきます。

テーブル名:DEMO_SHIRATORI_2

Connection作成

Snowflakeとのコネクションを作成します。

Additional Peramsでロールやウェアハウスの指定ができます。

Looker_コネクション詳細-1

LookML Project作成

コネクションが作成できたらLookMLプロジェクトを作成します。

Looker_LookML_Project作成

Create Profectを押下するとLookMLモデル画面に遷移します。

ここでは、先ほど作成したコネクションを使用すること、

demo_shiratori_2というviewをexploreとして使用することが書いてあります。

Looker_model作成

viewの中身は下図の通りです。

DEMO_SHIRATORI_2の参照したいカラムを定義していきます。

Looker_view作成

モデルを作成したら、Gitの設定に移ります。

右上のConfigure Gitボタンを押下します。

Githubのリポジトリ、次ページでユーザ名とパスワードを指定して設定完了です。

Looker_Git設定

Varidate→Commit→Pull/Mergeして完了です。

Looker_Git_commit

Exploreから可視化

ようやく可視化まで来ました。

バナーのExploreからdemo_shiratori_2を選択します。

下図のような画面でデータを可視化していくことになります。

Looker_可視化

最後に

trocco・Snowflake・Lookerの連携をつらつらと書き連ねました。

この記事で少しでも上記サービスに興味を持っていただけると幸いです。

 

Snowflakeを体験してみませんか?

INSIGHT LABではSnowflake紹介セミナーを定期開催しています。Snowflakeの製品紹介だけでなく、デモンストレーションを通してSnowflakeのシンプルなUI操作や処理パフォーマンスの高さを体感いただけます。

詳細はこちら

bird

執筆者 bird

4 分で読むことができます。
Snowflakeの料金体系|クレジットと費用最適化のポイントをご紹介
5 分で読むことができます。
【禁断の比較?】SnowflakeとTreasure Dataを比べてみました
1 分で読むことができます。
誤ってupdateしてしまったレコードをtime travelで復元する
5 分で読むことができます。
【Snowflake】新機能「Streamlit in Snowflake」とは何者か!?
3 分で読むことができます。
AWS Lambdaを使ってSnowflakeとSFTPサーバーを連携してみた