Wantedly Engineering Handbook
🎧 Podcast
🍿 YouTube
🛋 Blog
💬 Twitter
検索…
Wantedly Engineering Handbook
まえがき
第一部:開発チームへの案内
技術とアーキテクチャ
プロダクト概要(未執筆)
開発チームの構造
コミュニケーションの全体
ドキュメンテーション(未執筆)
カレンダー
障害対応の心構え
第二部:技術領域への案内
System
Application
Infrastructure
Data
データ基盤入門
レコメンデーション(未執筆)
Looker 入門
開発プロセス
開発ツール
おわりに
ロードマップ(未執筆)
Handbook の書き方
コントリビューター
付録
社内用語集
主要なGitHubレポジトリのリスト
今後の挑戦・未解決イシュー
プロダクト開発組織のバリュー
採用についての考え方
GitBook
上で動作しています
データ基盤入門
このドキュメントの目的は、Wantedly内で利用している技術スタックを紹介し、欲しいデータの生成をどこでやるべきかを理解してもらうことです。
まず用語として、「Source」、「Warehouse」、「Mart」の3用語をこのドキュメントでは利用し、これに技術要素を当てはめます。 詳しい説明は
ゆずたそさんの「データ基盤の3分類と進化的データモデリング」のスライド
を参照してください。
技術要素
BigQuery
「Source」から「Mart」までを管理する場所
主にGCP上のUIから管理する
bqs
BigQueryの(主にイベントログの)Schemaを管理するためのもの
Argo Workflows
マイクロサービスの境界を超えたデータやジョブの依存関係を作成するためのもの
詳しくは
Data Scientist 向けに Wantedly の推薦基盤を支える Argo Workflow や Kubernetes などのインフラ、New Relic や Datadog などの SaaS を紹介する速習会をしました! | Wantedly Engineer Blog
Fluentd
イベントログを「Source」に保存するもの
Looker
「Source」から「Mart」までの情報を活用して可視化するもの
詳しくは
グロースを加速するLooker活用 | Wantedly Engineer Blog
Analytics
用途
「Mart」に相当するBigQueryやAnalyticsが持つRDBへの実行結果の保存
外部データから「Source」への保存
bqv
データ同期や実行方法などを考えず、クエリを書くことで、SourceのデータにWarehouse的な意味付けしたテーブルではなくviewを作成、同様にWarehouseのデータを利用しMart的な意味付けをしたviewを作成するためのもの
詳しくは
BigQueryのクエリをコードとして管理する | Wantedly Engineer Blog
https://github.com/rerost/bqv
社内では
wantedly/bqv-catalog (internal)
で view の管理をしています。
ユーティリティー
bq-table-validator
https://github.com/rerost/bq-table-validator
BigQuery上でクエリを実行し、期待通りのものが返ってくるかをチェックするツール
各々の興味のあるレポジトリで走らせるのが目的
dagg
https://github.com/rerost/dagg
Argo Workflowsの利用を簡単にするため導入
それぞれのカバー領域を図示します。例えば次の図のFluentdは、外部からSourceに対してデータを入れる部分で使うことを示しています。
歴史
2015 前半 DOMOが利用され始める
2016 後半 分析基盤をTreasureDataからBigQueryに移動
2016 後半 Analyticsが導入
2016 後半 機械学習がPeopleで使われ始める
2016 後半 機械学習がVisitで運用され始める
2017 後半 Visitの募集一覧のソート結果がBigQuery に保存され、過去分の再現がしやすくなる
2018 前半 一部のマイクロサービスからのイベントログの挿入がリクエスト時にBigQueryに直接入れていたのがFluentdを経由するようになる
2018 前半 bqsが導入される
2019 前半 Argo Workflows が導入される
2019 後半 全てのイベントログがFluentd経由で挿入されるようになる
2019 後半 bqvが導入される
2020 後半 Looker導入・DOMO解約
話を聞きに行きたい
Slack:
#あらマチ
,
#looker_feedback
もっと知りたい
https://github.com/wantedly/looker
第二部:技術領域への案内 - 前
Data
次
レコメンデーション(未執筆)
最終更新
3mo ago
リンクのコピー
目次
技術要素
歴史