> For the complete documentation index, see [llms.txt](https://docs.wantedly.dev/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.wantedly.dev/fields/infrastructure/troubleshooting.md).

# トラブルシューティング: 何を見たいときに何を使うか

ウォンテッドリーのプロダクト開発チームは、ソフトウェア開発のライフサイクル全てにオーナーシップを持っています。これにより、ライフサイクルを通した学びのフィードバックがチーム内に蓄積し、全体が効率化することで、ソフトウェアの価値提供をより素早く行うことが可能になります。この考え方は [Netflix によって Full Cycle Developers](https://netflixtechblog.com/full-cycle-developers-at-netflix-a08c31f83249) と呼ばれて広く知られています。

開発するシステムの運用にも責任を持っているということは、インフラエンジニア以外であってもシステムに問題が発生した場合に調査・解決する能力が求められ、いわゆる [Embedded SRE](https://medium.com/slalom-build/the-many-shapes-of-site-reliability-engineering-468359866517) のような能力や立ち振る舞いが必要となります。

本章では「こういう事象のときはまずここを見る」を逆引きの形でまとめます。各ツールの詳細な使い方は [Honeybadger](/fields/infrastructure/troubleshooting/honeybadger.md) と [Datadog](/fields/infrastructure/troubleshooting/datadog.md) を参照してください。

| 事象                                   | まず見る場所                                                                                                                                                   |
| ------------------------------------ | -------------------------------------------------------------------------------------------------------------------------------------------------------- |
| アプリケーションのエラーを調べたい                    | [Honeybadger](https://app.honeybadger.io/) のプロジェクト画面                                                                                                     |
| エラーが発生したリクエストの全体像を見たい                | [Honeybadger](/fields/infrastructure/troubleshooting/honeybadger.md#error-to-datadog-trace) 詳細画面の「Context」欄にある `datadogTraceUrl` から Datadog Trace へ      |
| 特定の API / エンドポイントの遅さを調べたい            | [Datadog APM](https://app.datadoghq.com/services) の Service Catalog                                                                                      |
| ALB のアクセスを Path / IP / UA などで集計したい   | [Datadog Logs](https://app.datadoghq.com/logs) (`service:elb` で絞り込み)、attribute が足りないときは BigQuery                                                         |
| DB のメトリクスを見たい                        | Datadog Dashboard [DB Metrics](https://app.datadoghq.com/dashboard/5wr-4m8-stu/db-metrics)                                                               |
| Redis のメトリクスを見たい                     | Datadog Dashboard [Redis](https://app.datadoghq.com/dashboard/etg-twr-4yd/elasticacheredis-for-wantedly)                                                 |
| Sidekiq のメトリクスを見たい                   | Datadog Dashboard [Sidekiq](https://app.datadoghq.com/dashboard/tiz-r8c-cck/sidekiq)                                                                     |
| HPA (Pod のオートスケール) の状態を見たい           | Datadog Dashboard [HPA](https://app.datadoghq.com/dashboard/33y-pcz-yaq/hpa)                                                                             |
| BigQuery の Slot 使用率を見たい              | Datadog Dashboard [BigQuery](https://app.datadoghq.com/dashboard/c2q-6fu-nfn/bigquery)                                                                   |
| (D)DoS 攻撃を疑うとき・WAF 経由のリクエスト数を見たい     | Datadog Dashboard [Request Count (WAF)](https://app.datadoghq.com/dashboard/j7k-bc5-acz/request-count-waf)                                               |
| Pod 内のプロセスごとのリソース消費を見たい (OOM 調査など)   | [Datadog Infrastructure: Processes](https://app.datadoghq.com/process)                                                                                   |
| 任意のメトリクスを時系列で確認したい                   | [Datadog Metrics Explore](https://app.datadoghq.com/metric/explorer)                                                                                     |
| Dashboard では表現しづらい複雑な分析を作成・共有したい     | [Datadog Notebooks](https://app.datadoghq.com/notebook/list)                                                                                             |
| fork した環境でエラーやトレースを追いたい              | [Datadog APM Traces](https://app.datadoghq.com/apm/traces) で `@fork-identifier` フィルター                                                                    |
| Pod が `CrashLoopBackOff` している原因を調べたい | Pod のログを [kube logs (internal)](https://dev-docs.wantedly.com/deploy/kube-usage) または [Loki (internal)](https://dev-docs.wantedly.com/loki/README-ja) で見る |