前置きこんにちは。株式会社GENDAのこみぃです。Snowflakeからちょっと前にUnistoreという機能が発表されました。https://www.snowflake.com/workloads/unistore/?lang=ja先日社内の勉強会的なアレでSnowflakeのお話をしたのですが、その時にUnistoreについては結構すごいねっていうお話になりました。このお話は社外でも興味ある人がいそうだなということで、本日はその話をしましょう。 Unistoreとは前述のリンクが英語なのでざっくりまとめますと、Unistoreとは分析用途でのDBとサービス用途...

SnowflakeのUnistoreがすごくすごい理由

前置きこんにちは。株式会社GENDAのこみぃです。みなさん、SnowSQL使ってますか？SnowSight上でGUIでの操作もいいですが、構築作業などしていくとなったらやはりCLIで作業したいですよね。SnowSQLはCLIでsnowflakeを扱うツールです。今日はそのSnowSQLを使って作業をしていてハマったことがあったのでそのお話をします。 ことの始まり以前に料金体系とそれに関連する仕様に関してハマったことを記事にしたことがありました。https://zenn.dev/kommy339/articles/6e7f3ecedfb7c5この話について、ありがた...

SnowSQLでセッションパラメータを設定する時は気をつけよう

前置きこんにちは。株式会社GENDAのこみぃです。未知のツールを導入する場合に、サポートが充実しているかというのが気になると思います。先日Snowflakeのサポートに頼る場面があったので、本日はそのあたりのお話をします。ここだけのお話ですが、導入にあたって中の人から「Snowflakeはあらゆる面で最強だが、真に最強なのはサポートだ」というお言葉を頂いています。期待して参りましょう！！！ Snowflakeのサポートの起票は割と簡単以前は違ったらしいのですが、最近はコンソール画面で簡単にサポート問い合わせができます。この辺の、この辺から出来ます。あとは必要...

Snowflakeのサポート問い合わせが便利だったお話

前置きこんにちは。株式会社GENDAのこみぃです。最近はBIツールの普及などで長文のSQLを書く機会が増えてきたと思います。SQLも長文になるとちょっとしたプログラミングで、本日のお話は初歩的なようで初歩的でない、しかしやっぱり初歩的なお話です。 やりたかったこと今回集計したデータはとある売上のデータなのですが、売上のデータと別で商品のマスターデータの変更履歴が別に存在するデータでした。そのものズバリの例はもちろん出せませんが、ざっくり言うと以下のような感じです。まず売上のデータがあります。sales_historiesbooth_idcountsol...

snowflakeでWhereとrow_numberの併用でハマったお話

前置きこんにちは。株式会社GENDAのこみぃです。先日とある勉強会に登壇してきたので、今日はそのお話です。 Vertical SaaS Studyとは？Vertical SaaS StudyはVerticalなSaaSを提供する企業を中心になんやかんやする勉強会です。Verticalは「垂直」という意味で、業界・業種に特化したという意味らしいです。今回は2回目ということで、データ基盤をテーマに勉強会が行われました。https://midastech.connpass.com/event/250789/ 登壇してきましたそういうわけで、登壇してきました。今回はオ...

Vertical SaaS Study#2に登壇してきました

前置きこんにちは。株式会社GENDAのこみぃです。日本で事業をしているとデータに日本語の文字列が入ると思います。このときに、日本語を曖昧にSELECTしたいときってありますよね。ひらがなとカタカナを混同したり、大文字小文字、全角半角を区別しないで良い検索がしたくなったり。。。先日社内でこのあたりの検索のやり方を質問いただきまして、そのときに色々調べて解決を見ました。調べている中でsnowflake関連ではこの話に触れた日本語の記事がないことに気づきましたので、この記事ではそのやり方をまとめます。 サンプルデータを作成とりあえずサンプルデータを作ります。こんな感じのテ...

snowflakeで快適に日本語をSELECTするには？

前置きこんにちは。株式会社GENDAのこみぃです。先日snowflakeの権限関係でやや苦戦したことがあったので、今日はそのお話です。 snowflakeにおける権限管理snowflakeの権限はRoleとUserという概念で行われます。Roleが権限をまとめたグループで、Userをグループに所属させる形になります。User自体に権限を与えることもできますが、ある程度大きな組織になるとRoleを使って権限を分けたほうがスムーズです。例としてはこんな感じで、他にも部署ごとに扱えるSchemaを分けたりなどもできますね。SUGOI_TSUYOI_ROLE管理者偉...

snowflakeの権限管理ではPUBLICロールに気をつけようっていうお話

前置きこんにちは。株式会社GENDAのこみぃです。今日のお話は以前書いた以下の記事の続きになります。https://zenn.dev/kommy339/articles/6e7f3ecedfb7c5 COMPUTEという概念Snowflakeではユーザーからアクセスがあるとクエリを処理するためにCOMPUTEが起動します。このCOMPUTEの起動時間がsnowflakeの主な料金になりますなので、COMPUTEの概念を理解して仕様を把握しておくことが費用の節約に繋がります。 AUTO_SUSPENDユーザーからのアクセスが一定時間ないと、COMPUTEは自動で停...

snowflakeのAUTO_SUSPENDは60で良いというお話

前置きこんにちは。株式会社GENDAのこみぃです。今日のお話はSnowflake運用の軽いTipsです。 allは今存在するテーブルSnowflakeでユーザーに参照権限を付ける場合には以下のようなgrant文を打つことになります。grant-allgrant select on all tables in schema test to role test_user;ここでall tablesというのは そのタイミングで存在しているすべてのテーブル を指しますつまりこの後テーブルが追加された場合にはtest_userは参照できません。そのタイミングで存在していな...

Snowflakeでテーブル追加のたびにgrantを打たなくてよくする方法

前置きこんにちは。株式会社GENDAのこみぃです。突然ですが皆さん、Viewを使っていますか？今日のお話は、snowflakeのViewはデータエンジニアに非常に優しいので、積極的に使っていこうというものになります。 Viewとは？Viewというのはテーブルのように扱うことができるSQLのエイリアスのようなものです。テーブルと違って例えばサービスに以下のような2つのテーブルがあるとします。テーブル1_user_dataユーザーID,年齢,性別1,25,男2,23,女テーブル2_log_dataログID,ユーザーID,行動,時間1001,1,logi...

snowflakeのviewの仕様がすばらしかったので活用しよう

前置きこんにちは。株式会社GENDAのこみぃです。今日のお話は、データに関わる人なら結構頭を悩ませることが多いタイムゾーンについてのお話です。 データではタイムゾーンは超大切！システムのタイムゾーンを把握しておくのはデータ基盤に限らず非常に大切なのですが、データにおいてはタイムゾーンを把握しておくのは特に非常に大切です。理由は、 データを突合するときにタイムゾーンがズレているとエライことになる からです。特に以下の2つのパターンのミスが起こりがちです。 データソースごとにタイムゾーンが違うことにより起こるミス例えば日々の売上のデータと来客数のデータを集計してお客様...

snowflakeのデフォルトのタイムゾーンがPDTで苦戦したお話

前置きこんにちは。株式会社GENDAのこみぃです。いろいろな場所でデータ基盤を構築するお手伝いをしていると、そもそもデータ分析の基礎を学ぶのにオススメの書籍はありますかという質問をよく受けます。この質問をされたときに私が圧倒的におすすめしたいのが、マネー・ボールという書籍です。https://amzn.to/3wmEKuHそういうわけで、今日は個人的に圧倒的におすすめのこの書籍の紹介をしようとお思います。 どういう本なのか？マネー・ボールは近年の野球の選手の評価の基本的な考え方になっているセイバーメトリクスという考え方を始めに導入した人物のお話です。データ分析という...

データ分析について学びたい人はまず「マネー・ボール」を読もうっていうお話

前置きこんにちは。株式会社GENDAのこみぃです。先日データウェアハウスの選定基準について記事を書いて、おかげさまで好評だったのですが、https://zenn.dev/kommy339/articles/9329d658fab94aこれと並んでよく聞かれるのが、そもそもデータを活用したいってなったらどういう人を採用すればいいのかというお話です。こちらもあまりにもよく聞かれるので、今回記事にしてみました。会社の業務も軌道に乗って余裕ができて、そろそろデータとか見ていきたいなという方には参考になるお話かなと思います。ちなみにデータ関連の人材の分類は会社によって結構違います...

会社でデータを活用したいときに集めるべき人材（2022年5月時点版）

前置きこんにちは。株式会社GENDAのこみぃです。先週のブログで、Snowflakeのイベントで紹介があったData Cloudが面白そうなので後日まとめるというお話をしました。https://zenn.dev/kommy339/articles/ac57be9ecc240eそういうわけで、今日はData Cloudについてのお話です。 Data CloudとはData CloudというのはSnowflakeが提供するデータの共有のための機能です。https://www.snowflake.com/data-cloud/?lang=ja最近だと自社のサービスを作るた...

SnowflakeのDataCloudが面白そうっていうお話

前置きこんにちは。株式会社GENDAのこみぃです。先日、SnowflakeのイベントであるData for breakfastに行ってきました。非常に満足度の高いイベントでしたので、今日はそのお話をしようと思います。 Data for breakfastのここがすごい 会場がすごいおしゃれすごいポイントその1は会場のおしゃれさです。今回の会場はなんと赤坂プリンスクラシックハウスhttps://akasakaprince.com/結婚式場なので外観や内装も非常に趣があります。また、建物の周りの花壇が観光スポットとして有名です。個人的には謎の鹿のオブジェが好...

SnowflakeのData for Breakfastがすごかったお話

前置きはじめまして。株式会社GENDAのこみぃです。株式会社GENDAではデータウェアハウスとしてSnowflake、BIツールとしてredashを使っています。この設計は初期段階から決めており、Snowflakeのトライアル期間にはまずはこの部分を構築しました。さて、Snowflakeにデータを転送し、redashで接続設定をし、数日経ってふとクレジット消費量を確認すると、そこには異常に消費されたクレジットの姿が！！幸いにして本運用になる前に修正することができましたが、これ以上同じ悲しみを背負う人が出ないように、SnowflakeとBIツールをつなぐ際に気をつけるべき設...

redashからSnowflakeを参照したらクレジット消費が異常に増えたお話

前置き最近、色々な会社でデータの活用というのが叫ばれていると思うのですが、いざデータ基盤を構築するとなると詳しい人が少ない状況です。どういう基盤を作ればいいのかとか、どのデータウェアハウスを使えばいいのかという相談を、私もよく受けます。ここのところ特にあまりにもよく受けるので、毎回答えるよりも記事にしておいたほうが早いなと思ったので、この記事を書きました。今回のお話は 「どのデータウェアハウスを使えばいいのか」 という質問に対しての現時点での私なりの回答になります。 データウェアハウスの選択肢は3つデータウェアハウスのサービスはたくさんあるのですが、この記事を書いている...

データウェアハウス選定フローチャート（2022年4月時点版）

ご挨拶はじめまして。こみぃと申します。はじめに軽く自己紹介を。私は2011年に新卒の会社でインフラエンジニアとしてエンジニア人生をスタートしてから、サーバーサイドエンジニアを経て徐々に企画サイドによっていき、データ分析のようなことをするようになりました。2社目ではデータ基盤を管理しつつ、企画メンバーと一緒にサービスのデータ分析をしたりなど、データを活用する色々な業務に広く関わりました。現在は3社目となる株式会社GENDAにて、データ基盤とデータ分析を中心にその他の分野にも手を伸ばしつつ、さらに広くお仕事をさせていただいています。エンジニア出身でデータにまつわるお仕事にたど...