Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- projekte:fabaccess:software:todos:grafana_anbindung [2024/11/08 09:51] – andre
+++ projekte:fabaccess:software:todos:grafana_anbindung [2024/11/19 07:47] (aktuell) – andre
@@ Zeile 7: / Zeile 7: @@
 Es gibt wohl bereits eine Beschreibung für eine Grafana Anbindung. Da wir Grafana [1] auch bereits an anderen Stellen einsetzen, sollte dies hier auch zum Einsatz kommen.
 ===== Umsetzung =====
 Anleitung zum Aufsetzen des Monitoring mittels Prometheus + Grafana: {{ :projekte:fabaccess:software:todos:monitoring-prometheus-grafana.pdf |}}
-====== Von ChatGPT aufgehübschte Anleitung aus dem PDF Dokument: ======
+Grafana Dashboard auf Basis vom FabAccess Prometheus Exporter und MQTT Exporter: {{ :projekte:fabaccess:software:todos:fabaccess-grafana-prometheus.json.zip |}}
-= Übersicht =
+==== Von ChatGPT aufgehübschte Anleitung aus dem PDF Dokument: ====
+----
+===== Übersicht =====
 Wir werden folgende Komponenten installieren und konfigurieren:
-'''Grafana''': Eine Plattform zur Visualisierung von Metriken und Logs.
+  * **Grafana**: Eine Plattform zur Visualisierung von Metriken und Logs.
-'''Prometheus''': Ein Monitoring-System und Zeitreihendatenbank.
+  * **Prometheus**: Ein Monitoring-System und Zeitreihendatenbank.
-'''FabAccess Prometheus Exporter''': Exportiert FabAccess-Daten für Prometheus.
+  * **FabAccess Prometheus Exporter**: Exportiert FabAccess-Daten für Prometheus.
-'''MQTT Exporter''': Exportiert MQTT-Daten für Prometheus.
+  * **MQTT Exporter**: Exportiert MQTT-Daten für Prometheus.
-= Voraussetzungen =
+----
+===== Voraussetzungen =====
+  * Ein Raspberry Pi mit einer aktuellen Installation von Raspbian oder einem anderen Debian-basierten Betriebssystem.
+  * Internetzugang für die Installation von Paketen und das Herunterladen von Software.
+  * Grundlegende Kenntnisse im Umgang mit der Kommandozeile und dem Editor ''vim'' (du kannst auch ''nano'' oder einen anderen bevorzugten Editor verwenden).
+----
-Ein Raspberry Pi mit einer aktuellen Installation von Raspbian oder einem anderen Debian-basierten Betriebssystem.
+===== 1. Installation von Grafana =====
-Internetzugang für die Installation von Paketen und das Herunterladen von Software.
-Grundlegende Kenntnisse im Umgang mit der Kommandozeile und dem Editor '''vim''' (du kannst auch '''nano''' oder einen anderen bevorzugten Editor verwenden).
-= 1. Installation von Grafana =
-== Schritt 1: Hinzufügen des Grafana-Repositorys ==
+==== Schritt 1: Hinzufügen des Grafana-Repositorys ====
 Füge den GPG-Schlüssel und das Repository von Grafana hinzu, um die neueste Version installieren zu können:
-<pre> wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee /etc/apt/sources.list.d/grafana.list </pre>
+<code>
-== Schritt 2: Installation von Grafana ==
+wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
+echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee /etc/apt/sources.list.d/grafana.list
+</code>
+==== Schritt 2: Installation von Grafana ====
 Aktualisiere die Paketlisten und installiere Grafana:
-<pre> sudo apt-get update sudo apt-get install -y grafana </pre>
+<code>
-== Schritt 3: Starten und Aktivieren des Grafana-Dienstes ==
+sudo apt-get update
+sudo apt-get install -y grafana
+</code>
+==== Schritt 3: Starten und Aktivieren des Grafana-Dienstes ====
 Aktiviere den automatischen Start von Grafana beim Systemstart und starte den Dienst:
-<pre> sudo systemctl enable grafana-server sudo systemctl start grafana-server </pre>
+<code>
-''Grafana sollte jetzt auf Port 3000 laufen. Du kannst darauf zugreifen, indem du in deinem Browser '''http://<deine_raspberry_pi_ip>:3000''' eingibst.''
+sudo systemctl enable grafana-server
+sudo systemctl start grafana-server
+</code>
-= 2. Installation von Prometheus =
+''Grafana sollte jetzt auf Port 3000 laufen. Du kannst darauf zugreifen, indem du in deinem Browser **http://deine_raspberry_pi_ip:3000** eingibst''
-== Schritt 1: Herunterladen von Prometheus ==
-Wechsle zum Verzeichnis '''/opt''' und lade die passende Prometheus-Version für ARM herunter:
+----
-<pre> cd /opt wget https://github.com/prometheus/prometheus/releases/download/v2.22.0/prometheus-2.22.0.linux-armv7.tar.gz </pre>
-== Schritt 2: Entpacken und Einrichten ==
+===== 2. Installation von Prometheus =====
+==== Schritt 1: Herunterladen von Prometheus ====
+Wechsle zum Verzeichnis **/opt** und lade die passende Prometheus-Version für ARM herunter:
+<code>
+cd /opt
+wget https://github.com/prometheus/prometheus/releases/download/v2.22.0/prometheus-2.22.0.linux-armv7.tar.gz
+</code>
+==== Schritt 2: Entpacken und Einrichten ====
 Entpacke das Archiv, benenne das Verzeichnis um und bereinige:
-<pre> tar xfz prometheus-2.22.0.linux-armv7.tar.gz mv prometheus-2.22.0.linux-armv7 prometheus rm prometheus-2.22.0.linux-armv7.tar.gz </pre>
+<code>
-== Schritt 3: Berechtigungen setzen ==
+tar xfz prometheus-2.22.0.linux-armv7.tar.gz
+mv prometheus-2.22.0.linux-armv7 prometheus
+rm prometheus-2.22.0.linux-armv7.tar.gz
+</code>
+==== Schritt 3: Berechtigungen setzen ====
 Setze die Eigentümerrechte:
-<pre> sudo chown -R root:root prometheus/ </pre>
+<code>
-== Schritt 4: Erstellen eines Systemd-Dienstes für Prometheus ==
+sudo chown -R root:root prometheus/
+</code>
-Erstelle die Dienstdatei '''/etc/systemd/system/prometheus.service''':
+==== Schritt 4: Erstellen eines Systemd-Dienstes für Prometheus ====
+Erstelle die Dienstdatei **/etc/systemd/system/prometheus.service**:
+<code>
+sudo vim /etc/systemd/system/prometheus.service
+</code>
-<pre> sudo vim /etc/systemd/system/prometheus.service </pre>
 Füge folgenden Inhalt ein:
-<pre> [Unit] Description=Prometheus Server Documentation=https://prometheus.io/docs/introduction/overview/ After=network-online.target [Service] User=prometheus Restart=on-failure ExecStart=/opt/prometheus/prometheus --config.file=/opt/prometheus/prometheus.yml --storage.tsdb.path=/opt/prometheus/data [Install] WantedBy=multi-user.target </pre>
+<code>
-== Schritt 5: Dienst einrichten und starten ==
+[Unit]
+Description=Prometheus Server
+Documentation=https://prometheus.io/docs/introduction/overview/
+After=network-online.target
+[Service]
+User=prometheus
+Restart=on-failure
+ExecStart=/opt/prometheus/prometheus --config.file=/opt/prometheus/prometheus.yml --storage.tsdb.path=/opt/prometheus/data
+[Install]
+WantedBy=multi-user.target
+</code>
+==== Schritt 5: Dienst einrichten und starten ====
 Führe folgende Befehle aus, um den Dienst zu laden, zu aktivieren und zu starten:
-<pre> sudo systemctl daemon-reload sudo systemctl enable prometheus.service sudo systemctl start prometheus.service sudo systemctl status prometheus.service </pre>
+<code>
-''Prometheus sollte jetzt laufen und auf seinen Standardport (9090) hören.''
+sudo systemctl daemon-reload
+sudo systemctl enable prometheus.service
+sudo systemctl start prometheus.service
+sudo systemctl status prometheus.service
+</code>
-= 3. Installation des FabAccess Prometheus Exporters =
+''Prometheus sollte jetzt laufen und auf seinem Standardport (9090) hören.''
-== Schritt 1: Installieren von Python-Paketen ==
+----
-Installiere '''python3-pip''', falls noch nicht vorhanden:
+===== 3. Installation des FabAccess Prometheus Exporters =====
-<pre> sudo apt install -y python3-pip </pre>
+==== Schritt 1: Installieren von Python-Paketen ====
-== Schritt 2: Herunterladen des Exporters ==
+Installiere **python3-pip**, falls noch nicht vorhanden:
+<code>
+sudo apt install -y python3-pip
+</code>
+==== Schritt 2: Herunterladen des Exporters ====
 Wechsle zum Prometheus-Verzeichnis und klone das Repository:
-<pre> cd /opt/prometheus/ sudo git clone https://gitlab.com/fabinfra/fabaccess/prometheus-exporter.git fabaccess-exporter --recursive </pre>
+<code>
-== Schritt 3: Installieren der Abhängigkeiten ==
+cd /opt/prometheus/
+sudo git clone https://gitlab.com/fabinfra/fabaccess/prometheus-exporter.git fabaccess-exporter --recursive
+</code>
+==== Schritt 3: Installieren der Abhängigkeiten ====
 Wechsle in das Exporter-Verzeichnis und installiere die Python-Abhängigkeiten:
-<pre> cd /opt/prometheus/fabaccess-exporter/ sudo pip3 install -r requirements.txt </pre>
+<code>
-== Schritt 4: Erstellen eines Benutzers für Prometheus ==
+cd /opt/prometheus/fabaccess-exporter/
+sudo pip3 install -r requirements.txt
+</code>
+==== Schritt 4: Erstellen eines Benutzers für Prometheus ====
 Erstelle einen Systembenutzer für Prometheus:
-<pre> sudo adduser --system prometheus </pre>
+<code>
+sudo adduser --system prometheus
+</code>
 Setze die Eigentümerrechte:
-<pre> sudo chown -R prometheus:root /opt/prometheus/ </pre>
+<code>
-== Schritt 5: Erstellen des Systemd-Dienstes für den Exporter ==
+sudo chown -R prometheus:root /opt/prometheus/
+</code>
-Erstelle die Dienstdatei '''/etc/systemd/system/prometheus-fabaccess-exporter.service''':
+==== Schritt 5: Erstellen des Systemd-Dienstes für den Exporter ====
+Erstelle die Dienstdatei **/etc/systemd/system/prometheus-fabaccess-exporter.service**:
+<code>
+sudo vim /etc/systemd/system/prometheus-fabaccess-exporter.service
+</code>
-<pre> sudo vim /etc/systemd/system/prometheus-fabaccess-exporter.service </pre>
 Füge folgenden Inhalt ein (passe die Umgebungsvariablen entsprechend an):
-<pre> [Unit] Description=Prometheus FabAccess Exporter Service After=network.target [Service] Type=simple User=prometheus Group=root Environment="EXPORTER_PORT=9000" Environment="BFFH_HOST=fabaccess.stadtfabrikanten.org" Environment="BFFH_PORT=5961" Environment="BFFH_USER=fabaccess-prometheus-exporter" Environment="BFFH_PASSWORD=DEIN_PASSWORT" Environment="POLLING_INTERVAL_SECONDS=5" WorkingDirectory=/opt/prometheus/fabaccess-exporter ExecStart=/usr/bin/python3 main.py Restart=always RestartSec=5 [Install] WantedBy=multi-user.target </pre>
+<code>
-== Schritt 6: Dienst einrichten und starten ==
+[Unit]
+Description=Prometheus FabAccess Exporter Service
+After=network.target
+[Service]
+Type=simple
+User=prometheus
+Group=root
+Environment="EXPORTER_PORT=9000"
+Environment="BFFH_HOST=fabaccess.stadtfabrikanten.org"
+Environment="BFFH_PORT=5961"
+Environment="BFFH_USER=fabaccess-prometheus-exporter"
+Environment="BFFH_PASSWORD=DEIN_PASSWORT"
+Environment="POLLING_INTERVAL_SECONDS=5"
+WorkingDirectory=/opt/prometheus/fabaccess-exporter
+ExecStart=/usr/bin/python3 main.py
+Restart=always
+RestartSec=5
+[Install]
+WantedBy=multi-user.target
+</code>
+==== Schritt 6: Dienst einrichten und starten ====
 Lade die Systemd-Daemon neu und starte den Dienst:
-<pre> sudo systemctl daemon-reload sudo systemctl enable prometheus-fabaccess-exporter.service sudo systemctl start prometheus-fabaccess-exporter.service sudo systemctl status prometheus-fabaccess-exporter.service </pre>
+<code>
-= 4. Installation des MQTT Exporters =
+sudo systemctl daemon-reload
+sudo systemctl enable prometheus-fabaccess-exporter.service
+sudo systemctl start prometheus-fabaccess-exporter.service
+sudo systemctl status prometheus-fabaccess-exporter.service
+</code>
-== Schritt 1: Herunterladen des MQTT Exporters ==
+----
+===== 4. Installation des MQTT Exporters =====
+==== Schritt 1: Herunterladen des MQTT Exporters ====
 Wechsle zum Prometheus-Verzeichnis und klone das Repository:
-<pre> cd /opt/prometheus/ sudo git clone https://github.com/kpetremann/mqtt-exporter.git cd mqtt-exporter/ </pre>
+<code>
-== Schritt 2: Installieren der Abhängigkeiten ==
+cd /opt/prometheus/
+sudo git clone https://github.com/kpetremann/mqtt-exporter.git
+cd mqtt-exporter/
+</code>
+==== Schritt 2: Installieren der Abhängigkeiten ====
 Installiere die benötigten Python-Pakete:
-<pre> sudo pip3 install -r requirements/base.txt </pre>
+<code>
-== Schritt 3: Testweiser Start des Exporters ==
+sudo pip3 install -r requirements/base.txt
+</code>
+==== Schritt 3: Testweiser Start des Exporters ====
 Starte den Exporter manuell, um sicherzustellen, dass er funktioniert (ersetze die Umgebungsvariablen durch deine eigenen Werte):
-<pre> MQTT_ADDRESS=127.0.0.1 MQTT_PORT=1883 MQTT_USERNAME=DEIN_MQTT_BENUTZER MQTT_PASSWORD=DEIN_MQTT_PASSWORT PROMETHEUS_PORT=9001 python3 exporter.py </pre>
+<code>
-== Schritt 4: Erstellen des Systemd-Dienstes für den MQTT Exporter ==
+MQTT_ADDRESS=127.0.0.1 MQTT_PORT=1883 MQTT_USERNAME=DEIN_MQTT_BENUTZER MQTT_PASSWORD=DEIN_MQTT_PASSWORT PROMETHEUS_PORT=9001 python3 exporter.py
+</code>
+==== Schritt 4: Erstellen des Systemd-Dienstes für den MQTT Exporter ====
+Erstelle die Dienstdatei **/etc/systemd/system/prometheus-mqtt-exporter.service**:
-Erstelle die Dienstdatei '''/etc/systemd/system/prometheus-mqtt-exporter.service''':
+<code>
+sudo vim /etc/systemd/system/prometheus-mqtt-exporter.service
+</code>
-<pre> sudo vim /etc/systemd/system/prometheus-mqtt-exporter.service </pre>
 Füge folgenden Inhalt ein:
-<pre> [Unit] Description=Prometheus MQTT Exporter After=network-online.target [Service] User=prometheus Restart=on-failure Environment="MQTT_ADDRESS=127.0.0.1" Environment="MQTT_PORT=1883" Environment="MQTT_USERNAME=DEIN_MQTT_BENUTZER" Environment="MQTT_PASSWORD=DEIN_MQTT_PASSWORT" Environment="PROMETHEUS_PORT=9001" WorkingDirectory=/opt/prometheus/mqtt-exporter ExecStart=/usr/bin/python3 exporter.py Restart=always RestartSec=5 [Install] WantedBy=multi-user.target </pre>
+<code>
+[Unit]
+Description=Prometheus MQTT Exporter
+After=network-online.target
+[Service]
+User=prometheus
+Restart=on-failure
+Environment="MQTT_ADDRESS=127.0.0.1"
+Environment="MQTT_PORT=1883"
+Environment="MQTT_USERNAME=DEIN_MQTT_BENUTZER"
+Environment="MQTT_PASSWORD=DEIN_MQTT_PASSWORT"
+Environment="PROMETHEUS_PORT=9001"
+WorkingDirectory=/opt/prometheus/mqtt-exporter
+ExecStart=/usr/bin/python3 exporter.py
+Restart=always
+RestartSec=5
+[Install]
+WantedBy=multi-user.target
+</code>
 ''Hinweis: Wenn du TLS verwenden möchtest, musst du die entsprechenden Umgebungsvariablen hinzufügen und sicherstellen, dass der MQTT Exporter TLS unterstützt.''
-== Schritt 5: Dienst einrichten und starten ==
+==== Schritt 5: Dienst einrichten und starten ====
 Aktiviere und starte den Dienst:
-<pre> sudo systemctl daemon-reload sudo systemctl enable prometheus-mqtt-exporter.service sudo systemctl start prometheus-mqtt-exporter.service sudo systemctl status prometheus-mqtt-exporter.service </pre>
+<code>
+sudo systemctl daemon-reload
+sudo systemctl enable prometheus-mqtt-exporter.service
+sudo systemctl start prometheus-mqtt-exporter.service
+sudo systemctl status prometheus-mqtt-exporter.service
+</code>
 Überprüfe die Logs, um sicherzustellen, dass der Exporter korrekt läuft:
-<pre> journalctl -f -u prometheus-mqtt-exporter.service </pre>
+<code>
-= 5. Integration in Prometheus =
+journalctl -f -u prometheus-mqtt-exporter.service
+</code>
+----
+===== 5. Integration in Prometheus =====
+Damit Prometheus die Daten der Exporter sammelt, musst du die **prometheus.yml**-Konfigurationsdatei anpassen.
-Damit Prometheus die Daten der Exporter sammelt, musst du die '''prometheus.yml'''-Konfigurationsdatei anpassen.
+==== Schritt 1: Bearbeiten der Prometheus-Konfiguration ====
-== Schritt 1: Bearbeiten der Prometheus-Konfiguration ==
+Öffne die Datei **/opt/prometheus/prometheus.yml**:
-Öffne die Datei '''/opt/prometheus/prometheus.yml''':
+<code>
+sudo vim /opt/prometheus/prometheus.yml
+</code>
-<pre> sudo vim /opt/prometheus/prometheus.yml </pre>
 Füge die neuen Jobs hinzu:
-<pre> scrape_configs: - job_name: 'fabaccess_exporter' static_configs: - targets: ['localhost:9000'] - job_name: 'mqtt_exporter' static_configs: - targets: ['localhost:9001'] </pre>
+<code>
-== Schritt 2: Neustarten von Prometheus ==
+scrape_configs:
+  - job_name: 'fabaccess_exporter'
+    static_configs:
+      - targets: ['localhost:9000']
+  - job_name: 'mqtt_exporter'
+    static_configs:
+      - targets: ['localhost:9001']
+</code>
+==== Schritt 2: Neustarten von Prometheus ====
 Starte den Prometheus-Dienst neu, damit die Änderungen wirksam werden:
-<pre> sudo systemctl restart prometheus.service </pre>
+<code>
-= 6. Einrichtung von Grafana =
+sudo systemctl restart prometheus.service
+</code>
-== Schritt 1: Hinzufügen der Prometheus-Datenquelle ==
+----
-Öffne Grafana in deinem Browser: '''http://<deine_raspberry_pi_ip>:3000'''
+===== 6. Einrichtung von Grafana =====
-Melde dich mit dem Standardbenutzernamen und -passwort an ('''admin''' / '''admin'''). Ändere das Passwort beim ersten Login.
-Gehe zu '''Configuration''' (das Zahnradsymbol) und wähle '''Data Sources'''.
+==== Schritt 1: Hinzufügen der Prometheus-Datenquelle ====
-Klicke auf '''Add data source''' und wähle '''Prometheus'''.
-Gib unter '''URL''' '''http://localhost:9090''' ein.
+  * Öffne Grafana in deinem Browser: **http://deine_raspberry_pi_ip:3000**
-Klicke auf '''Save & Test''', um die Verbindung zu überprüfen.
+  * Melde dich mit dem Standardbenutzernamen und -passwort an (**admin** / **admin**). Ändere das Passwort beim ersten Login.
-== Schritt 2: Erstellen von Dashboards ==
+  * Gehe zu **Configuration** (das Zahnradsymbol) und wähle **Data Sources**.
+  * Klicke auf **Add data source** und wähle **Prometheus**.
+  * Gib unter **URL** **http://localhost:9090** ein.
+  * Klicke auf **Save & Test**, um die Verbindung zu überprüfen.
+==== Schritt 2: Erstellen von Dashboards ====
 Jetzt kannst du Dashboards erstellen und die von deinen Exportern bereitgestellten Metriken visualisieren.
-= Zusätzliche Hinweise =
+----
-'''Passwörter und sensible Daten''': Stelle sicher, dass du in den Dienstdateien und Umgebungsvariablen die richtigen Benutzer und Passwörter einträgst.
+===== Zusätzliche Hinweise =====
-'''Sicherheit''': Wenn du den Zugriff von außerhalb deines Netzwerks erlaubst, überlege dir, wie du die Dienste absicherst (z.B. durch Firewalls oder TLS).
-'''Updates''': Überprüfe regelmäßig, ob es Updates für Prometheus, Grafana und die Exporter gibt, um Sicherheitslücken zu schließen und neue Features zu nutzen.
+  * **Passwörter und sensible Daten**: Stelle sicher, dass du in den Dienstdateien und Umgebungsvariablen die richtigen Benutzer und Passwörter einträgst.
-= Fazit =
+  * **Sicherheit**: Wenn du den Zugriff von außerhalb deines Netzwerks erlaubst, überlege dir, wie du die Dienste absicherst (z.B. durch Firewalls oder TLS).
+  * **Updates**: Überprüfe regelmäßig, ob es Updates für Prometheus, Grafana und die Exporter gibt, um Sicherheitslücken zu schließen und neue Features zu nutzen.
+----
+===== Fazit =====
 Du hast nun eine Schritt-für-Schritt-Anleitung, um Prometheus und Grafana auf deinem Raspberry Pi zu installieren und zu konfigurieren, einschließlich der Einrichtung von FabAccess und MQTT Exportern. Damit kannst du Daten sammeln und in Grafana visualisieren, um Einblicke in dein System zu erhalten.
+----
 [1] https://wiki.sternenlabor.de/doku.php?id=dienste:start&s[]=grafana