前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日Data Cloud World TourというSnowflakeのイベントに参加してきました。https://www.snowflake.com/events/data-cloud-world-tour-tokyo/Snowflakeのイベントはすごい。ということで今日はその話をします。 Data Cloud World TourとはData Cloud World TourはSnowflake公式が世界全国で順番に開催するカンファレンスです。https://www.snowflake.com/data-...

Data Cloud World Tourがすごくすごかった話

前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日Snowflakeのユーザーコミュニティの中で、特に データマネジメント について議論するコミュニティが発足しました。https://note.com/sfdmt/n/n11d99d75587aラスベガスで声をかけていただいたご縁もあって、実はひっそりと初期メンバーをやらせていただいております。会の目的などは上記のnoteを読んでいただくとして、そんなユーザー会で初めての勉強会がスタートしましたので、本日はそのお話をします。 データマネジメントとは？データマネジメントというのは文字通りデータをマネジメント、...

snowflakeユーザーのデータマネジメントコミュニティの勉強会が爆誕しました

前置きこんにちは。さすらいのデータエンジニアのこみぃです。先週はSnowflakeユーザーにとって非常に大きなイベントであるSnowflake Summit 2023がありました。https://www.snowflake.com/summit/?lang=ja今年はData SuperHeroes特典で招待していただいたので、思い切って現地参戦をしてまいりました。今日はその話をします。https://twitter.com/howardatwork/status/1674088177039196162 すごくすごい会場まず会場がすごくすごい大きかったです。ここと...

Snowflake Summit 2023から感じたストーリー

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。前回の技術書典13に引き続き、今回も参加して参りました。本日はそのレポートです。https://techbookfest.org/event/tbf14 今回の同人誌今回の頒布物はこちらです。　https://techbookfest.org/product/8rNStKqP8PX5L1fsE5dwt6?productVariantID=4AmWQntJXDs8JDmTYbkAJH前回はただの怪文書でしたが、今回は知り合いのサークルで共著なのもあってかなり真面目な書籍です。Snowflakeについて...

技術書典14参戦記

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日、Snowflakeの小技を披露するLT会がありました。https://usergroups.snowflake.com/events/details/snowflake-japan-presents-ohurainxian-ding-snowflakenoxiao-ji-lt-chatgptmozhi-ranaimi-mi-notekunitsukujiao-ete/実は日本のコミュニティでオフラインイベントとしては初のLT会らしく、そこに登壇させていただいたのはとても光栄でした。そういうわけで、本日...

Snowflakeの小技LTしてきました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日株式会社リーン・ニシカタさんと弊社の共催で開催したData Analyst Career Studyですが、https://zenn.dev/kommy339/articles/4809adc9ffd038第一回がおかげさまでご好評いただきましたので、第二回を開催しました。https://dacs.connpass.com/event/279476/今回はGENDAからは登壇をしませんでしたので、運営として参加しつつイチ観客として楽しませていただきました。そういうわけで、本日はイベントレポート的に、...

Data Analyst Career Study #2 レポート - データアナリストに重要なのは対話 -

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日、Snowflakeで特定のschemaにあるテーブルを一気にdropする方法を探していたのですが、日本語だとそれっぽい記事がなかったので記事にしてみました。 何がしたかったか？Snowflakeとdbtを組み合わせてデータ基盤を構築している方は結構いらっしゃると思います。その場合、ローカルの開発用のDatabaseを別で作ってテストしつつ、本番用のDatabaseは他にある、という構成が多いと思います。以下のような構成ですね。ただ、この構成だと過去にテストで作ったけど特に残っている意味はないみ...

Snowflakeで特定のschemaのテーブルを一気にdropしたい（出来るとは言ってない）

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。相変わらず会社のデータをSnowflakeに統合していく業務に勤しむ日々なのですが、先日アプリの計測ツールであるadjustのデータを入れるという業務をやりました。やり方をググっても日本語の記事が出てこなかった（こみぃ調べ）ので、知見を共有すべく記事にしてみました。 AdjustのデータをSnowflakeに入れる仕組み概要今回構築したシステムの概要はこんな感じです。Adjustのコンソールの設定でログがS3に置かれるようにするS3のPutをトリガーにLambdaを起動し、ndjsonに変換して別...

adjustのデータをSnowflakeに入れてredashで参照する

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日、株式会社リーン・ニシカタ様と弊社の共催で、Data Analyst Career Studyというイベントを行いました。https://dacs.connpass.com/event/273421/本日はイベントレポート的に、その話をします。 イベントの趣旨イベントの冒頭で詳しく語られた内容ではありますが、このイベントの趣旨はデータアナリストのキャリアという、実は誰も正解を知らないことについて議論することです。データ系の人材というのは近年になって事情がかなり変わってきていて、適切なロールモデルが...

Data Analyst Career Study #1 レポート - データアナリストに必要なのは徳 -

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。先日SnowdayJapanというイベントに参加してきました。https://www.snowflake.com/about/events/snowday-japan-2023/?lang=jaSnowflakeのイベントはすごくすごいということで期待してましたが、やはりすごくすごかったので本日はその話をします。 Snowflakeのオフラインイベントはすごい最近だとカンファレンスはだいたいライブ配信を行っているので、家からライブ配信を見たり、アーカイブを見たりという形で参加している方も多いと思います。...

SnowdayJapanがすごくすごかった話

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日のお話は以下の記事の続きのようなお話です。https://zenn.dev/kommy339/articles/636f8a7c58596c DMSが、止まる。。。。前述の記事にもあるように、DMSを継続的レプリケーションで使うと、まあ本当によく止まります。止まる理由としては以下が多いです。定期的にALTERを打つ必要があり、仕方がない更新が多いテーブルであるためレプリケーションが遅れ、binlogの保持期間を過ぎてしまう原因不明そういうわけで、これに対しての対策として編み出したことを列...

DMSによるレプリケーションがよく止まる場合の対処法まとめ

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日のお話は以下の記事の続きのようなお話です。https://zenn.dev/kommy339/articles/ea8958032b0dd1 DMSを使ったRDSとSnowflakeのリアルタイム同期DMSを使ってRDSとSnowflakeのデータをリアルタイム同期するのは↑の記事でも触れている通りで可能です。構造を簡単に説明すると、DMSを使ってS3にレコードの変更履歴を都度送信し、それをsnowpipeでSnowflakeに取り込みます。Snowflakeでは変更履歴を統合し、現状のRDSの状...

DMSを使ってRDSのデータをSnowflakeにリアルタイム同期している場合はリカバリ用のSQLを用意しておくと捗るという話

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。実は昨年（2022年）、SnowflakeのData Polarisというのの講習を受けてまして。無事に認定されてData Polarisになりました。そういうわけで、本日はData Polarisとはなんなのかについてお話したいと思います。 Data PolarisとはData PolarisはSnowflakeの日本法人の独自の取り組みです。Snowflakeをプロダクトの理念を含めてしっかり理解して、世に広める公認の外部アンバサダー的なやーつです。Data Polarisは2021年から始まっ...

SnowflakeのData Polarisに認定されました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。Snowflakeはマーケットプレイスという非常に便利な機能があります。https://www.snowflake.com/ja/data-cloud/marketplace/企業が公開したり提供したりしているデータを簡単に取得して連携できるという機能で、Snowflakeの大きな特徴です。これがあるとまるでオープンソースのライブラリを使うかのようにデータを扱えるようになるのですが、そうなると気になることが一つ。利用規約とかってあるのかな？オープンソースのライブラリの中には規約に「このライブラリを使った...

Snowflakeマーケットプレイスの規約とか使い方とか

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。このたび、若輩ながらSnowflakeのアドベントカレンダーに参加させていただきます。https://qiita.com/advent-calendar/2022/snowflake弊社では2022年の2月にSnowflakeの技術検証をはじめ、4月に正式に導入しました。この記事では、Snowflakeを導入して1年ほど経った今を振り返って、これから導入される方向けにSnowflakeを導入して最初の1年にやるべきだと思うことをまとめていこうと思います。そういうわけで、早速参りましょう。 Snowfl...

Snowflake 1年目の教科書

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。Snowflakeはjsonなどの半構造化データを直接insertしておけるデータウェアハウスなので、何も考えずにデータを突っ込んでおいてあとから考える、ということができます。ただ、半構造化データの抽出にはちょっとだけコツが必要だったので、今回はそのお話でも。 キーが決まっている単純なjsonの場合一番簡単なのは、単純にキーが決まっているjsonからデータを取り出す場合です。例えばこんなデータ（わかりにくいですが2行のレコードにjsonが入っています）sample_01+-------------...

Snowlfakeでの半構造化データのSelectのやり方まとめ

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日は、Snowflakeとredashの組み合わせをいじっていて気づいたお話など。 redashからSnowflakeへの接続redashでのsnowflakeへの接続はDataSourceを追加すればさくっと出来ます。そんなわけで、接続設定を追加するこちらの画面を御覧ください。そう、ここではDatabaseの設定が必須になっています。これはおかしなことではなく、Snowflakeは基本的に接続時にはDatabaseを指定します。 redashは画面左側に指定したDatabaseのテーブル一覧...

redashでsnowflakeに接続する場合は指定したDatabase以外も参照できる、けど、、、、

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。私は趣味でもかなりデータを活用している方だと自負しているのですが、そのわりには個人用のデータ基盤って考えたことがなかったと思い至りました。会社ではExcelをベースにしたデータ管理を改善しようとかやっている自分が、私生活のデータ活用はスプレッドシートというのはいかがなものか？そう考えたので、このたび個人用データ基盤を作ることにしました。 動画を作りましたさて、その様子をブログでお届けしていっても良かったのですが、せっかくなんで別の発信方法もしてみようということで、この度動画を作りました。https:...

個人用データ基盤、はじめました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。昨日、Snowflakeのコミュニティイベントである「BUILD.local Tokyo」に参加してきました。https://usergroups.snowflake.com/events/details/snowflake-japan-presents-snowflakehong-tsuteyou-beru-buildlocal-tokyo-legend-of-the-data-heroesri-ben-chu-wu-li-komiyuniteiibento/イベントレポートといえば定評のある私なのでね。腕...

Snowflakeのコミュニティイベント「BUILD.local Tokyo」に参加してきました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本番DBのデータをデータウェアハウスに入れたいっていう需要は常にありますよね。弊社でもそういう需要が出てきたので対応していました。そして、AWSのAuroraのデータをSnowflakeに同期するには、先駆者様がすでに前例を記事にしてくれています。ありがたい！！https://zenn.dev/yohei/articles/2021-04-24-snowflake-dms-rdsさっそくこの手順を私もやろうかと思ったのですが、その作業の過程で結構つらい事態に行き当たったので本日はそのお話など。 DMS...