推薦システムの開発に使っているツール

推薦チームでは、モデルの開発・改善や、デプロイを簡単に行うための様々なツールを用意しています。以下はそのなかでも自分たちで内製しているツールの一覧です。

機械学習モデルの開発に使うツール

モデルの学習に使う特徴量を定期的に計算し、それをBigQuery上にエクスポートして管理しています。

モデルの学習パイプラインの中の共通部分をまとめたライブラリです。

オンラインテストに出す前のランキングの性能を、過去データを使って低コストでシミュレーションするツールです。カスタマイズして様々な指標を簡単に実装することも可能で、施策でやりたいことを実現できそうなのかを評価することが可能です。

ローカルのPCに大量のコンピューターリソースが存在するかのような開発体験を提供するツールです。これにより、エンジニアは本番運用時とほとんど同じ環境で開発を行うことができます。

マイクロサービス共通ライブラリであるservicexのPython実装です。servicexについてはマイクロサービス共通ライブラリ "servicex" の紹介を参照してください。

変更前後のコードで作成されるランキングで、結果が変わらないことを確認するためのツールです。これはコードのリファクタやライブラリアップデートを行うときなどに、GitHub Actionsのジョブとして利用されます。

Wantedly Visit の募集の集合からクエリに対して適切なフィルタリング・オーダリングを行ってユーザーに返すサービスです。作成したランキングを本番環境にリリースしたり、オンラインテストを行ったりする際に利用します。

Wantedly Visit上にいるユーザの集合からクエリに対して適切なフィルタリング・オーダリングを行ってリクルーターに返すサービスです。作成したランキングを本番環境にリリースしたり、オンラインテストを行ったりする際に利用します。

上記2つについてはWantedlyのPodcastや発表資料でも触れられています。

上に挙げた以外にも、推薦チームでは開発時に様々なツールを使用しています。

最終更新 4 か月前