FREIFUNK - MÜNCHEN
wgkex: WireGuard-Schlüsselaustausch
wgkex (WireGuard key exchange) ist der Dienst, über den sich Freifunk-Knoten mit einem Gateway verbinden. Die Knoten bauen darüber ihren verschlüsselten Mesh-Uplink auf: BATMAN läuft über VXLAN über WireGuard. Auf den Knoten kommt dafür das Gluon-Paket ffmuc-mesh-vpn-wireguard-vxlan zum Einsatz.
So bekommt ein Knoten sein Gateway
- Der Knoten erzeugt ein WireGuard-Schlüsselpaar und schickt seinen öffentlichen Schlüssel mit seiner Domain (Segment) per HTTPS an den Broker (
POST /api/v2/wg/key/exchange). - Der Broker wählt ein Gateway, abhängig von Last und Standort, und veröffentlicht den Schlüssel per MQTT an den Worker dieses Gateways.
- Der Worker legt den Schlüssel als WireGuard-Peer an und trägt den Knoten in die VXLAN-Weiterleitung ein.
- Der Broker antwortet dem Knoten mit den Verbindungsdaten des Gateways (Adresse, Port, öffentlicher Schlüssel). Der Knoten baut den Tunnel auf.
- Klappt etwas nicht, fällt der Knoten auf die ältere API (
/api/v1) und ein zufälliges Gateway aus seiner Konfiguration zurück.
Peers ohne Handshake räumt der Worker nach einiger Zeit selbst wieder ab.
Bausteine
| Teil | Wo | Aufgabe |
|---|---|---|
| Worker | auf jedem Gateway (Systemdienst wgkex) | legt WireGuard-Peers und VXLAN-Einträge an, meldet Status, Auslastung und Peers |
| Broker | Docker-Container auf den Docker-Hosts, hinter HAProxy | nimmt Schlüssel entgegen, wählt das Gateway, verteilt die Last |
| MQTT | EMQX auf den Docker-Hosts | Nachrichten zwischen Brokern und Workern |
- Die Worker werden mit Salt ausgerollt (Formula
wgkexin ffmuc-salt-public, siehe Saltstack). Die Broker sind Compose-Stacks (stacks/docker0X/wgkex), ausgerollt mit Komodo. - Worker und Broker verwenden dieselbe Version (derzeit v0.5.1). Renovate hebt beide gemeinsam in einem Pull Request an.
- Jedes Gateway braucht einen eindeutigen Hostnamen; er identifiziert den Worker in MQTT und in den Metriken.
Betrieb
Update
Erst die Worker, dann die Broker, damit neue Nachrichten von allen verstanden werden: Salt-State wgkex auf den Gateways anwenden (oder auf den täglichen Highstate um 18:00 Uhr warten), danach die Broker-Stacks nacheinander in Komodo neu ausrollen.
Gateway vor einem Neustart leeren (Drain)
- Auf dem Gateway die Datei
/run/wgkex/drainanlegen (touch). Der Worker meldet Status „draining“; die Broker weisen ihm keine neuen Knoten mehr zu und er gibt pro Minute 10 % seiner Peers ab. - Warten, bis die Zahl der verbundenen Peers nahe 0 ist (für 90 % etwa 20 Minuten); das Dashboard „wgkex“ auf stats.ffmuc.net zeigt sie an.
- Neu starten.
/runwird dabei geleert, das Gateway ist danach wieder normal im Dienst, und der Lastausgleich bringt nach etwa 10 Minuten Knoten zurück. - Abbrechen ohne Neustart: Datei wieder löschen.
Immer nur ein Gateway gleichzeitig.
Überwachung
Worker und Broker liefern Prometheus-Metriken, die telegraf einsammelt; sie landen in InfluxDB/Grafana (Dashboard „wgkex“ auf stats.ffmuc.net). Icinga überwacht den Systemdienst wgkex auf den Gateways.
Links
- Quellcode, Konfiguration, API und MQTT-Themen: freifunkMUC/wgkex (
README.md,Docs/operations.md,Docs/metrics.md) - Ausrollen:
wgkex/README.mdim Salt-Repository