前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本日は、Snowflakeとredashの組み合わせをいじっていて気づいたお話など。 redashからSnowflakeへの接続redashでのsnowflakeへの接続はDataSourceを追加すればさくっと出来ます。そんなわけで、接続設定を追加するこちらの画面を御覧ください。そう、ここではDatabaseの設定が必須になっています。これはおかしなことではなく、Snowflakeは基本的に接続時にはDatabaseを指定します。 redashは画面左側に指定したDatabaseのテーブル一覧...

redashでsnowflakeに接続する場合は指定したDatabase以外も参照できる、けど、、、、

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。私は趣味でもかなりデータを活用している方だと自負しているのですが、そのわりには個人用のデータ基盤って考えたことがなかったと思い至りました。会社ではExcelをベースにしたデータ管理を改善しようとかやっている自分が、私生活のデータ活用はスプレッドシートというのはいかがなものか？そう考えたので、このたび個人用データ基盤を作ることにしました。 動画を作りましたさて、その様子をブログでお届けしていっても良かったのですが、せっかくなんで別の発信方法もしてみようということで、この度動画を作りました。https:...

個人用データ基盤、はじめました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。昨日、Snowflakeのコミュニティイベントである「BUILD.local Tokyo」に参加してきました。https://usergroups.snowflake.com/events/details/snowflake-japan-presents-snowflakehong-tsuteyou-beru-buildlocal-tokyo-legend-of-the-data-heroesri-ben-chu-wu-li-komiyuniteiibento/イベントレポートといえば定評のある私なのでね。腕...

Snowflakeのコミュニティイベント「BUILD.local Tokyo」に参加してきました

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。本番DBのデータをデータウェアハウスに入れたいっていう需要は常にありますよね。弊社でもそういう需要が出てきたので対応していました。そして、AWSのAuroraのデータをSnowflakeに同期するには、先駆者様がすでに前例を記事にしてくれています。ありがたい！！https://zenn.dev/yohei/articles/2021-04-24-snowflake-dms-rdsさっそくこの手順を私もやろうかと思ったのですが、その作業の過程で結構つらい事態に行き当たったので本日はそのお話など。 DMS...

Aurora(MySQL)からDMSを使ってSnowflakeにデータを転送する場合にはパーティションドロップが使えない話

前置きこんにちは。株式会社GENDAのこみぃです。本日のお話は、以前書いた記事の続きのような内容です。https://zenn.dev/kommy339/articles/a45483bd86f7daさて、上の記事にもありますが、データにまつわるお仕事をしていると、まず基礎として読んでおくべき本はありますかという質問をよくいただきます。まずマネーボールはオススメしたいのですが、他にもそんなときにおすすめしている書籍がいくつかありますので、まとめて紹介しておくと説明の手間が省けるかなと思いました。この記事を読んでいる皆様も「俺だけがこの本の良さを知っている」みたいな本がある...

データを扱う人にオススメの書籍その1 データ分析初級編

前置きこんにちは。株式会社GENDAのデータエンジニアのこみぃです。皆さん、Viewって使ってますか？私は便利に感じていて、結構多用しています。今日はそんな中で非常に根本的なやらかしをしていたので、戒めとしてこの記事を書いています。こういう恥ずかしいミスをしたという情報を開示することで今後の自分への戒めという名の術式を強めるということです。黒歴史の開示。本気だね。そして、当たり前のことですが、同じ轍を踏む人が少しでも減ることを祈っております。 今回のやらかしとViewの注意点今回やらかしたのは非常に単純です。会社でのお話なんでそのまま記載はできないんですが、例を書...

Viewを使う上での大切な注意点（戒め）

前置きこんにちは。株式会社GENDAのこみぃです。先日オライリーからSnowflakeの本が出ました。https://amzn.to/3LOJBLbさっそく読んでみたので、今日はそのお話です。それにしても、私は公式から書籍が出るより先に謎の同人誌を頒布したのか。罪深すぎる 本の内容と対象読者層本の内容をざっくり書くと、概ね以下のような感じです。Snowflakeの生い立ち既存のデータ基盤と比較したSnowflakeの特徴Snowflakeの導入Snowflakeの内部で動いている仕組みの説明費用に関する話も添えてかなり丁寧に書いてありますSnowf...

Snowflake The Definitive Guideを読みました

前置きこんにちは。株式会社GENDAのこみぃです。本日はいつものデータ基盤Tipsから少しテイストを変えたお話をしようと思います。 数値化することの意義これまで数値化できていなかったものを数値化できた場合、多くの場合はそれは大きなアドバンテージをもたらします。というのも、世の中では 物の価値を正しく把握することがアドバンテージをもたらす からです。これまで数値化できていなかったものを数値化することは、 他の人がまだ気づいていない価値に気付ける ということです。それはきっとあなたに優位性をもたらすでしょう。 数値化したいものその1 周囲のメンバーへの影響 組織へ...

私が本当に数値化したいもの

前置きこんにちは。株式会社GENDAのこみぃです。元Z●Z●の知り合い（伏せ字の意味）から、自分の書いた同人誌の解説をすると良いという噂を聞きましたので、本日はそんなお話です。 「Snowflakeのすゝめ」をオンラインで頒布中です本日解説する同人誌ですが、オンラインストアでの頒布が続いております。https://techbookfest.org/product/vLgux1KQLD3KyAS0Bd0pey?productVariantID=41GY2QJnDwEQURiFJjEDak本日の記事は多分↑を読まないとわけがわからないと思いますので、先に読んでから続きをお読...

「Snowflakeのすゝめ」の補足

前置きこんにちは。株式会社GENDAのこみぃです。本日は前回の続きです。https://zenn.dev/kommy339/articles/28626bd09c5fd5 久々のリアルイベントは楽しかった技術書典13はオンラインとオフラインで開催されています。オンラインではマーケットで電子版の購入ができ、オフラインでは紙の本を買ったりオフラインイベントならではの対面での交流があります。今回はSnowflakeが物珍しかったのか、色々声をかけてくださったりした方もいました。今回の本には書かなかったけれど、こういう内容が需要あるのかー、みたいな話も聞くことができて次回に...

技術書典13で「Snowflakeのすゝめ」を頒布中です

前置きこんにちは。株式会社GENDAのこみぃです。本日は軽い告知です。 技術書典13にSnowflake本で参加します技術書典とは、技術系の同人誌の即売会的なイベントです。https://techbookfest.org/先日行われていたコミケの技術書バージョンだと思うと良いかもしれません。もちろんあそこまでの規模ではないし、多分コスプレしている人とかはいませんけれど。。。技術書はPDFで欲しい方が多いと思いますが、技術書典はオンラインショップも設けていて、その点もいい感じです。https://techbookfest.org/market要は「個人で技術書書い...

技術書典13にSnowflake本で参加します

前置きこんにちは。株式会社GENDAのこみぃです。Snowflakeからちょっと前にUnistoreという機能が発表されました。https://www.snowflake.com/workloads/unistore/?lang=ja先日社内の勉強会的なアレでSnowflakeのお話をしたのですが、その時にUnistoreについては結構すごいねっていうお話になりました。このお話は社外でも興味ある人がいそうだなということで、本日はその話をしましょう。 Unistoreとは前述のリンクが英語なのでざっくりまとめますと、Unistoreとは分析用途でのDBとサービス用途...

SnowflakeのUnistoreがすごくすごい理由

前置きこんにちは。株式会社GENDAのこみぃです。みなさん、SnowSQL使ってますか？SnowSight上でGUIでの操作もいいですが、構築作業などしていくとなったらやはりCLIで作業したいですよね。SnowSQLはCLIでsnowflakeを扱うツールです。今日はそのSnowSQLを使って作業をしていてハマったことがあったのでそのお話をします。 ことの始まり以前に料金体系とそれに関連する仕様に関してハマったことを記事にしたことがありました。https://zenn.dev/kommy339/articles/6e7f3ecedfb7c5この話について、ありがた...

SnowSQLでセッションパラメータを設定する時は気をつけよう

前置きこんにちは。株式会社GENDAのこみぃです。未知のツールを導入する場合に、サポートが充実しているかというのが気になると思います。先日Snowflakeのサポートに頼る場面があったので、本日はそのあたりのお話をします。ここだけのお話ですが、導入にあたって中の人から「Snowflakeはあらゆる面で最強だが、真に最強なのはサポートだ」というお言葉を頂いています。期待して参りましょう！！！ Snowflakeのサポートの起票は割と簡単以前は違ったらしいのですが、最近はコンソール画面で簡単にサポート問い合わせができます。この辺の、この辺から出来ます。あとは必要...

Snowflakeのサポート問い合わせが便利だったお話

前置きこんにちは。株式会社GENDAのこみぃです。最近はBIツールの普及などで長文のSQLを書く機会が増えてきたと思います。SQLも長文になるとちょっとしたプログラミングで、本日のお話は初歩的なようで初歩的でない、しかしやっぱり初歩的なお話です。 やりたかったこと今回集計したデータはとある売上のデータなのですが、売上のデータと別で商品のマスターデータの変更履歴が別に存在するデータでした。そのものズバリの例はもちろん出せませんが、ざっくり言うと以下のような感じです。まず売上のデータがあります。sales_historiesbooth_idcountsol...

snowflakeでWhereとrow_numberの併用でハマったお話

前置きこんにちは。株式会社GENDAのこみぃです。先日とある勉強会に登壇してきたので、今日はそのお話です。 Vertical SaaS Studyとは？Vertical SaaS StudyはVerticalなSaaSを提供する企業を中心になんやかんやする勉強会です。Verticalは「垂直」という意味で、業界・業種に特化したという意味らしいです。今回は2回目ということで、データ基盤をテーマに勉強会が行われました。https://midastech.connpass.com/event/250789/ 登壇してきましたそういうわけで、登壇してきました。今回はオ...

Vertical SaaS Study#2に登壇してきました

前置きこんにちは。株式会社GENDAのこみぃです。日本で事業をしているとデータに日本語の文字列が入ると思います。このときに、日本語を曖昧にSELECTしたいときってありますよね。ひらがなとカタカナを混同したり、大文字小文字、全角半角を区別しないで良い検索がしたくなったり。。。先日社内でこのあたりの検索のやり方を質問いただきまして、そのときに色々調べて解決を見ました。調べている中でsnowflake関連ではこの話に触れた日本語の記事がないことに気づきましたので、この記事ではそのやり方をまとめます。 サンプルデータを作成とりあえずサンプルデータを作ります。こんな感じのテ...

snowflakeで快適に日本語をSELECTするには？

前置きこんにちは。株式会社GENDAのこみぃです。先日snowflakeの権限関係でやや苦戦したことがあったので、今日はそのお話です。 snowflakeにおける権限管理snowflakeの権限はRoleとUserという概念で行われます。Roleが権限をまとめたグループで、Userをグループに所属させる形になります。User自体に権限を与えることもできますが、ある程度大きな組織になるとRoleを使って権限を分けたほうがスムーズです。例としてはこんな感じで、他にも部署ごとに扱えるSchemaを分けたりなどもできますね。SUGOI_TSUYOI_ROLE管理者偉...

snowflakeの権限管理ではPUBLICロールに気をつけようっていうお話

前置きこんにちは。株式会社GENDAのこみぃです。今日のお話は以前書いた以下の記事の続きになります。https://zenn.dev/kommy339/articles/6e7f3ecedfb7c5 COMPUTEという概念Snowflakeではユーザーからアクセスがあるとクエリを処理するためにCOMPUTEが起動します。このCOMPUTEの起動時間がsnowflakeの主な料金になりますなので、COMPUTEの概念を理解して仕様を把握しておくことが費用の節約に繋がります。 AUTO_SUSPENDユーザーからのアクセスが一定時間ないと、COMPUTEは自動で停...

snowflakeのAUTO_SUSPENDは60で良いというお話

前置きこんにちは。株式会社GENDAのこみぃです。今日のお話はSnowflake運用の軽いTipsです。 allは今存在するテーブルSnowflakeでユーザーに参照権限を付ける場合には以下のようなgrant文を打つことになります。grant-allgrant select on all tables in schema test to role test_user;ここでall tablesというのは そのタイミングで存在しているすべてのテーブル を指しますつまりこの後テーブルが追加された場合にはtest_userは参照できません。そのタイミングで存在していな...