データ基盤入門

検索…
データ基盤入門
このドキュメントの目的は、Wantedly内で利用している技術スタックを紹介し、欲しいデータの生成をどこでやるべきかを理解してもらうことです。
まず用語として、「Source」、「Warehouse」、「Mart」の3用語をこのドキュメントでは利用し、これに技術要素を当てはめます。 詳しい説明はゆずたそさんの「データ基盤の3分類と進化的データモデリング」のスライドを参照してください。
技術要素
BigQuery
「Source」から「Mart」までを管理する場所
主にGCP上のUIから管理する
bqs
BigQueryの（主にイベントログの）Schemaを管理するためのもの
Argo Workflows
マイクロサービスの境界を超えたデータやジョブの依存関係を作成するためのもの
詳しくはData Scientist 向けに Wantedly の推薦基盤を支える Argo Workflow や Kubernetes などのインフラ、New Relic や Datadog などの SaaS を紹介する速習会をしました！ | Wantedly Engineer Blog​
Fluentd
イベントログを「Source」に保存するもの
Looker
「Source」から「Mart」までの情報を活用して可視化するもの
詳しくはグロースを加速するLooker活用 | Wantedly Engineer Blog​
Analytics
用途
「Mart」に相当するBigQueryやAnalyticsが持つRDBへの実行結果の保存
外部データから「Source」への保存
bqv
データ同期や実行方法などを考えず、クエリを書くことで、SourceのデータにWarehouse的な意味付けしたテーブルではなくviewを作成、同様にWarehouseのデータを利用しMart的な意味付けをしたviewを作成するためのもの
詳しくはBigQueryのクエリをコードとして管理する | Wantedly Engineer Blog​
​https://github.com/rerost/bqv​
ユーティリティー
bq-table-validator
​https://github.com/rerost/bq-table-validator​
BigQuery上でクエリを実行し、期待通りのものが返ってくるかをチェックするツール
各々の興味のあるレポジトリで走らせるのが目的
dagg
​https://github.com/rerost/dagg​
Argo Workflowsの利用を簡単にするため導入
それぞれのカバー領域を図示します。例えば次の図のFluentdは、外部からSourceに対してデータを入れる部分で使うことを示しています。
歴史
2015 前半 DOMOが利用され始める
2016 後半 分析基盤をTreasureDataからBigQueryに移動
2016 後半 Analyticsが導入
2016 後半 機械学習がPeopleで使われ始める
2016 後半 機械学習がVisitで運用され始める
2017 後半 Visitの募集一覧のソート結果がBigQuery に保存され、過去分の再現がしやすくなる
2018 前半 一部のマイクロサービスからのイベントログの挿入がリクエスト時にBigQueryに直接入れていたのがFluentdを経由するようになる
2018 前半 bqsが導入される
2019 前半 Argo Workflows が導入される
2019 後半 全てのイベントログがFluentd経由で挿入されるようになる
2019 後半 bqvが導入される
2020 後半 Looker導入・DOMO解約
話を聞きに行きたい
Slack: #あらマチ, #looker_feedback​
もっと知りたい
​https://github.com/wantedly/looker​
第二部：技術領域への案内 - 前
Data
次
レコメンデーション(未執筆)
最終更新 11d ago
リンクのコピー