prometheus でデータ収集しつつ、 remote_write で influxdb にデータを貯めるという実験を行っています。
マシンのディスク容量が小さいこともあるのですが、短期間で予想以上のディスク容量を消費していたので確認して見たところ、 ログファイルが肥大していました。
そこで、ログの出力元を確認したところ、いくつかの原因が判明しました。
- prometheus
コマンドライン引数でログレベルが設定できますが、何も設定しないと infoになっている。 --log.level=warn に変えて様子見
- remote_storage_adapter
main.goファイルを見るとわかるのですが、ログレベルがdebugに指定されている。 info に変えて go build
- influxdb
コンフィグファイルを見ると書いてあるのですが HTTP requestは標準で enable # Determines whether HTTP request logging is enabled.なので
[http] log-enabled = false
へ変更。
とりあえずこれで出力されるログの量がぐっと減ります。
トラブル時には一時的に変更する必要が有るかと思いますが、普段はこのくらいで良いのではないかと思います。 もちろん、出力を減らさず、ログをきちんと運用するようにすれば良いのですが。
まだ遊んでいる段階なので頑張りは適度に。
