前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。相変わらず会社のデータをSnowflakeに統合していく業務に勤しむ日々なのですが、先日アプリの計測ツールであるadjustのデータを入れるという業務をやりました。やり方をググっても日本語の記事が出てこなかった（こみぃ調べ）ので、知見を共有すべく記事にしてみました。 AdjustのデータをSnowflakeに入れる仕組み概要今回構築したシステムの概要はこんな感じです。Adjustのコンソールの設定でログがS3に置かれるようにするS3のPutをトリガーにLambdaを起動し、ndjsonに変換して別...

adjustのデータをSnowflakeに入れてredashで参照する

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日、株式会社リーン・ニシカタ様と弊社の共催で、Data Analyst Career Studyというイベントを行いました。https://dacs.connpass.com/event/273421/本日はイベントレポート的に、その話をします。 イベントの趣旨イベントの冒頭で詳しく語られた内容ではありますが、このイベントの趣旨はデータアナリストのキャリアという、実は誰も正解を知らないことについて議論することです。データ系の人材というのは近年になって事情がかなり変わってきていて、適切なロールモデルが...

Data Analyst Career Study #1 レポート - データアナリストに必要なのは徳 -

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日SnowdayJapanというイベントに参加してきました。https://www.snowflake.com/about/events/snowday-japan-2023/?lang=jaSnowflakeのイベントはすごくすごいということで期待してましたが、やはりすごくすごかったので本日はその話をします。 Snowflakeのオフラインイベントはすごい最近だとカンファレンスはだいたいライブ配信を行っているので、家からライブ配信を見たり、アーカイブを見たりという形で参加している方も多いと思います。...

SnowdayJapanがすごくすごかった話

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日のお話は以下の記事の続きのようなお話です。https://zenn.dev/kommy339/articles/636f8a7c58596c DMSが、止まる。。。。前述の記事にもあるように、DMSを継続的レプリケーションで使うと、まあ本当によく止まります。止まる理由としては以下が多いです。定期的にALTERを打つ必要があり、仕方がない更新が多いテーブルであるためレプリケーションが遅れ、binlogの保持期間を過ぎてしまう原因不明そういうわけで、これに対しての対策として編み出したことを列...

DMSによるレプリケーションがよく止まる場合の対処法まとめ

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日のお話は以下の記事の続きのようなお話です。https://zenn.dev/kommy339/articles/ea8958032b0dd1 DMSを使ったRDSとSnowflakeのリアルタイム同期DMSを使ってRDSとSnowflakeのデータをリアルタイム同期するのは↑の記事でも触れている通りで可能です。構造を簡単に説明すると、DMSを使ってS3にレコードの変更履歴を都度送信し、それをsnowpipeでSnowflakeに取り込みます。Snowflakeでは変更履歴を統合し、現状のRDSの状...

DMSを使ってRDSのデータをSnowflakeにリアルタイム同期している場合はリカバリ用のSQLを用意しておくと捗るという話

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。実は昨年（2022年）、SnowflakeのData Polarisというのの講習を受けてまして。無事に認定されてData Polarisになりました。そういうわけで、本日はData Polarisとはなんなのかについてお話したいと思います。 Data PolarisとはData PolarisはSnowflakeの日本法人の独自の取り組みです。Snowflakeをプロダクトの理念を含めてしっかり理解して、世に広める公認の外部アンバサダー的なやーつです。Data Polarisは2021年から始まっ...

SnowflakeのData Polarisに認定されました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。Snowflakeはマーケットプレイスという非常に便利な機能があります。https://www.snowflake.com/ja/data-cloud/marketplace/企業が公開したり提供したりしているデータを簡単に取得して連携できるという機能で、Snowflakeの大きな特徴です。これがあるとまるでオープンソースのライブラリを使うかのようにデータを扱えるようになるのですが、そうなると気になることが一つ。利用規約とかってあるのかな？オープンソースのライブラリの中には規約に「このライブラリを使った...

Snowflakeマーケットプレイスの規約とか使い方とか

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。このたび、若輩ながらSnowflakeのアドベントカレンダーに参加させていただきます。https://qiita.com/advent-calendar/2022/snowflake弊社では2022年の2月にSnowflakeの技術検証をはじめ、4月に正式に導入しました。この記事では、Snowflakeを導入して1年ほど経った今を振り返って、これから導入される方向けにSnowflakeを導入して最初の1年にやるべきだと思うことをまとめていこうと思います。そういうわけで、早速参りましょう。 Snowfl...

Snowflake 1年目の教科書

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。Snowflakeはjsonなどの半構造化データを直接insertしておけるデータウェアハウスなので、何も考えずにデータを突っ込んでおいてあとから考える、ということができます。ただ、半構造化データの抽出にはちょっとだけコツが必要だったので、今回はそのお話でも。 キーが決まっている単純なjsonの場合一番簡単なのは、単純にキーが決まっているjsonからデータを取り出す場合です。例えばこんなデータ（わかりにくいですが2行のレコードにjsonが入っています）sample_01+-------------...

Snowlfakeでの半構造化データのSelectのやり方まとめ

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日は、Snowflakeとredashの組み合わせをいじっていて気づいたお話など。 redashからSnowflakeへの接続redashでのsnowflakeへの接続はDataSourceを追加すればさくっと出来ます。そんなわけで、接続設定を追加するこちらの画面を御覧ください。そう、ここではDatabaseの設定が必須になっています。これはおかしなことではなく、Snowflakeは基本的に接続時にはDatabaseを指定します。 redashは画面左側に指定したDatabaseのテーブル一覧...

redashでsnowflakeに接続する場合は指定したDatabase以外も参照できる、けど、、、、

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。私は趣味でもかなりデータを活用している方だと自負しているのですが、そのわりには個人用のデータ基盤って考えたことがなかったと思い至りました。会社ではExcelをベースにしたデータ管理を改善しようとかやっている自分が、私生活のデータ活用はスプレッドシートというのはいかがなものか？そう考えたので、このたび個人用データ基盤を作ることにしました。 動画を作りましたさて、その様子をブログでお届けしていっても良かったのですが、せっかくなんで別の発信方法もしてみようということで、この度動画を作りました。https:...

個人用データ基盤、はじめました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。昨日、Snowflakeのコミュニティイベントである「BUILD.local Tokyo」に参加してきました。https://usergroups.snowflake.com/events/details/snowflake-japan-presents-snowflakehong-tsuteyou-beru-buildlocal-tokyo-legend-of-the-data-heroesri-ben-chu-wu-li-komiyuniteiibento/イベントレポートといえば定評のある私なのでね。腕...

Snowflakeのコミュニティイベント「BUILD.local Tokyo」に参加してきました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本番DBのデータをデータウェアハウスに入れたいっていう需要は常にありますよね。弊社でもそういう需要が出てきたので対応していました。そして、AWSのAuroraのデータをSnowflakeに同期するには、先駆者様がすでに前例を記事にしてくれています。ありがたい！！https://zenn.dev/yohei/articles/2021-04-24-snowflake-dms-rdsさっそくこの手順を私もやろうかと思ったのですが、その作業の過程で結構つらい事態に行き当たったので本日はそのお話など。 DMS...

Aurora(MySQL)からDMSを使ってSnowflakeにデータを転送する場合にはパーティションドロップが使えない話

前置きこんにちは。株式会社GENDAのこみぃです。本日のお話は、以前書いた記事の続きのような内容です。https://zenn.dev/kommy339/articles/a45483bd86f7daさて、上の記事にもありますが、データにまつわるお仕事をしていると、まず基礎として読んでおくべき本はありますかという質問をよくいただきます。まずマネーボールはオススメしたいのですが、他にもそんなときにおすすめしている書籍がいくつかありますので、まとめて紹介しておくと説明の手間が省けるかなと思いました。この記事を読んでいる皆様も「俺だけがこの本の良さを知っている」みたいな本がある...

データを扱う人にオススメの書籍その1 データ分析初級編

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。皆さん、Viewって使ってますか？私は便利に感じていて、結構多用しています。今日はそんな中で非常に根本的なやらかしをしていたので、戒めとしてこの記事を書いています。こういう恥ずかしいミスをしたという情報を開示することで今後の自分への戒めという名の術式を強めるということです。黒歴史の開示。本気だね。そして、当たり前のことですが、同じ轍を踏む人が少しでも減ることを祈っております。 今回のやらかしとViewの注意点今回やらかしたのは非常に単純です。会社でのお話なんでそのまま記載はできないんですが、例を書...

Viewを使う上での大切な注意点（戒め）

前置きこんにちは。株式会社GENDAのこみぃです。先日オライリーからSnowflakeの本が出ました。https://amzn.to/3LOJBLbさっそく読んでみたので、今日はそのお話です。それにしても、私は公式から書籍が出るより先に謎の同人誌を頒布したのか。罪深すぎる 本の内容と対象読者層本の内容をざっくり書くと、概ね以下のような感じです。Snowflakeの生い立ち既存のデータ基盤と比較したSnowflakeの特徴Snowflakeの導入Snowflakeの内部で動いている仕組みの説明費用に関する話も添えてかなり丁寧に書いてありますSnowf...

Snowflake The Definitive Guideを読みました

前置きこんにちは。株式会社GENDAのこみぃです。本日はいつものデータ基盤Tipsから少しテイストを変えたお話をしようと思います。 数値化することの意義これまで数値化できていなかったものを数値化できた場合、多くの場合はそれは大きなアドバンテージをもたらします。というのも、世の中では 物の価値を正しく把握することがアドバンテージをもたらす からです。これまで数値化できていなかったものを数値化することは、 他の人がまだ気づいていない価値に気付ける ということです。それはきっとあなたに優位性をもたらすでしょう。 数値化したいものその1 周囲のメンバーへの影響 組織へ...

私が本当に数値化したいもの

前置きこんにちは。株式会社GENDAのこみぃです。元Z●Z●の知り合い（伏せ字の意味）から、自分の書いた同人誌の解説をすると良いという噂を聞きましたので、本日はそんなお話です。 「Snowflakeのすゝめ」をオンラインで頒布中です本日解説する同人誌ですが、オンラインストアでの頒布が続いております。https://techbookfest.org/product/vLgux1KQLD3KyAS0Bd0pey?productVariantID=41GY2QJnDwEQURiFJjEDak本日の記事は多分↑を読まないとわけがわからないと思いますので、先に読んでから続きをお読...

「Snowflakeのすゝめ」の補足

前置きこんにちは。株式会社GENDAのこみぃです。本日は前回の続きです。https://zenn.dev/kommy339/articles/28626bd09c5fd5 久々のリアルイベントは楽しかった技術書典13はオンラインとオフラインで開催されています。オンラインではマーケットで電子版の購入ができ、オフラインでは紙の本を買ったりオフラインイベントならではの対面での交流があります。今回はSnowflakeが物珍しかったのか、色々声をかけてくださったりした方もいました。今回の本には書かなかったけれど、こういう内容が需要あるのかー、みたいな話も聞くことができて次回に...

技術書典13で「Snowflakeのすゝめ」を頒布中です

前置きこんにちは。株式会社GENDAのこみぃです。本日は軽い告知です。 技術書典13にSnowflake本で参加します技術書典とは、技術系の同人誌の即売会的なイベントです。https://techbookfest.org/先日行われていたコミケの技術書バージョンだと思うと良いかもしれません。もちろんあそこまでの規模ではないし、多分コスプレしている人とかはいませんけれど。。。技術書はPDFで欲しい方が多いと思いますが、技術書典はオンラインショップも設けていて、その点もいい感じです。https://techbookfest.org/market要は「個人で技術書書い...