Grafana on Ingenboy.inc

Grafana_variables

Thu, 27 Mar 2025 18:06:06 +0900

事始め

いやね、だんだんと管理するインスタンス数が増えてくるわけですよ。そうすると一辺に全部のメトリクスが出てきてわかりずらいわけです。それを解消するためにラベルを張って、どれがどれくらいか見たいよね、というお話です。

grafanaでラベルを変数化する方法

dashboard > setting > variablesから変数を用意できます。変数にも種類があり、customやtextがあります。おすすめはcustomですね。自分が好きな名前で候補を登録できます。例えば以下のように

evn : 100.64.1.61:9100, jhonny : localhost:9100,

これ、カンマ区切りでkey:valueになってる。そして最後もカンマが必要ってのが大事。そして、promqlでは以下のように書くことで変数を自分で選べるようになります。

rate(node_disk_written_bytes_total{instance=~"$host"}[1m])/1024/1024

O11y

Sun, 23 Feb 2025 00:38:12 +0900

oss o11y 最強セット

題名の通り。 o11yを実施するためのoss最強セットです。構築していきたいと思います。

環境

hugo_server : Grafana, Gateway

hugo_server -> jhonny : Openvpn tunneling

jhonny : Prometheus, Opensearch, (maybe kafka?)

集めたいデータ

GSLB周り

GSLBのHCデータ
GSLBのアクセスログ
GSLB clusterの各ノードの状態

openvpn周り

vpnserverのログ
vpnserverのステータス

構築

Grafana

apt install grafana-serverでインストール
sudo systemctl enable grafana-serverでデーモン化
sudo vim /etc/grafana/grafana.ini でホストヘッダーを設定
sudo vim /etc/nginx/nginx.confでプロキシの設定
grafanaにアクセス。初期ユーザ、パスワード：admin,admin

prometheus

公式からprometheusのbinary + 設定ファイルのtarをダウンロード ref
設定ファイルやbinaryを移動する /etc/prometheus/prometheus.yml、/var/lib/prometheus/data/、
ユニットファイルを作る（/lib/systemd/system/prometheus.service）

[Unit]
Description=Prometheus Server
Wants=network-online.target
After=network-online.target

[Service]
User=root
Group=root
ExecStart=/usr/local/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus/data \
  --web.listen-address=0.0.0.0:9090

Restart=always
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start prometheus

という感じですね。完璧ですー。

Telegraf + InfluxDBでシステムモニタリング

Thu, 01 Aug 2024 19:00:11 +0900

参考文献

最終成果物

influx_dbのダッシュボード

背景

業務でnginxの運用に携わっているのだが、nginxのrpsやレスポンスステータスごとの返却数など、どうやってモニタリングしているのか気になっていた。telegrafを使っていたのはわかったんだけど、実際にどうやってデータを取って、それをどうやってデータサーバで保存して、可視化をしていたのか、非常に気になっていたのです。それが今日解決しました。Telegraf、grafana、そして、prometheus,結構使えそうです。この記事では、メトリクスを可視化するためのツールを揃えていこうと思います。

Telegrafの概要

Telegraf is an agent for collecting, processing, aggregating, and writing metrics, logs, and other arbitrary data.

他にもTelegrafこういう感じのTelegrafの説明もあります。僕はこっちの方が好きだった

Telegraf, a server-based agent, collects and sends metrics and events from databases, systems, and IoT sensors. Written in Go, Telegraf compiles into a single binary with no external dependencies–requiring very minimal memory.

らしいですね。 collecting and writingなので、データをどこからか取ってきて、どこかに送るというわけです。そうです、inputとoutputを決められるわけですね。それも膨大な数のInputとoutputがあります。正直これは驚きました。こんなにあるんかとね。すごいです。ちょっと使えそうなinputとoutputを何個かpickupしておきたいと思います。

input

って感じで本当になんでもある。これはえぐい。 16. nvidia-smi 17. postgres 18. proxmox 19. prometheus