MEET - Ausfall am 21.04.2020 von 10:04 - 10:24

Leider hatten wir heute in der PrimeTime um 10 Uhr einen Ausfall zu verzeichnen. Die entsprechenden Gegenmaßnahmen sind getroffen und dieser Fehler tritt nicht noch einmal auf.

Hintergründe

Gegen 10 Uhr erreichten wir einen neuen Nutzerpeak. Dieser führte auf einer der Hauptkomponenten des Setups dazu, dass zuviele Backendverbindungen aufgebaut wurden. Daraufhin beendete der Dienst (Prosody) alle Nutzerverbindungen (siehe Graph). Dieser Fehler war schnell behoben und alle Nutzer konnten wieder verbinden.

Doch leider zeigte sich daraufhin ein Problem in einer anderen Hauptkomponente (Jicofo), dieser entschied auf der Grund der Geschwindigkeit in der die neuen Verbindungen nun anfielen alle Teilnehmer auf eine einzige unserer Videobridges zu schicken. Dies führte in der Konsequenz zu einer Überlast der Videobridge und damit wieder zu einer Trennung aller Teilnehmer. Nun kamen aber die Verbindungen wieder gleich schnell rein und das Spiel ging mit der nächsten Videobridge von vorne los. Um einen Ausweg aus der Situation zu finden haben wir zunächst auf unserem Webserver konfiguriert Verbindungen langsamer anzunehmen und so Jicofo Zeit zugeben “richtige” Loadbalancing Entscheidungen zu treffen. Dies führe allerdings auch nicht zum erhofften Erfolg.

Im weiteren Verlauf haben wir nach eben diesem Problem im Code gesucht und einen Fix in der neuesten Version von Jicofo gefunden. Daraufhin haben wir Jicofo auf die neueste Version aktualisiert, daraufhin pendelte sich dann alles wieder in normalen Bahnen ein.

Postmortem

Nachtrag von 16:30

Wir dachten wir hatten durch den Fix in Jicofo alle Probleme behoben und den Service wiederhergestellt, was auch soweit stimmt als das wir euch wieder bedienen konnten und die Konferenzen weiterliefen. Im Laufe des Tages wurde allerdings sichtbar, dass der Loadbalancing Algorithmus nicht mehr richtig funktioniert.

Erst kam der Verdacht auf, dass noch mehr Fehler im Code von Jicofo zu diesem Problem führt. Wie sich aber herraustellte war das Problem nicht Jicofo an dieser Stelle.

Sondern, bei dem Crash von Prosody heute morgen um 10:00Uhr wurden die internen Datenbanken die die Auslastung der Videobridges bereithalten zerstört. Dies war jedoch nicht im Ansatz offensichtlich. Erst als das Problem mit strace näher Untersucht wurde zeigte sich die kleine aber feine Meldung openat(AT_FDCWD, "/var/lib/prosody/meet%2effmuc%2enet/pubsub_sharedStatsNode.list", O_RDONLY) = -1 ENOENT (No such file or directory).

Daraufhin begann das Team dieses Problem näher zu untersuchen und stellte auch auf den nicht verwendeten Videobridges fest, dass diese bei einem Neustart ebenfalls die sharedStatsNode Liste nicht erreichen beschreiben können.

Postmortem - JVB

Um 16:30 konnten wir dann endgültig die volle Kapazität wieder herstellen in dem wir die Datenbanken wieder repariert haben. Zusehen im nachfolgenden Graphen.

Postmortem - Restored

Wir wünschen euch viel Spaß bei weiteren Videokonferenzen!

2024

Firmware Rollout auf v2024.9.1

less than 1 minute read

Momentan befindet sich die Version v2024.9.1 für stable/testing/experimental sowie v2024.9.1-next für den next Branch im Rollout. Hier werden die Geräte alle...

Freifunk auf dem Kulturspektakel 2024 in Gauting

less than 1 minute read

Heute um 16:00 Uhr startet wieder das Kulturspektakel in Gauting: Ein Open-Air-Festival mit Live-Musik auf 3 Bühnen mit kostenlosem Eintritt, Workshops, Spor...

Internet für die Flutopfer in Wertingen

less than 1 minute read

Für die Notunterkunft in der Stadthalle von Wertingen - das liegt zwischen Augsburg und Donauwörth - wurde von Freifunk Wertingen gerade eine behelfsmäßige W...

Firmware Rollout auf v2024.4.2 - Ulm Integration

less than 1 minute read

Der Monat April neigt sich dem Ende zu und wir waren wieder fleißig. Momentan befindet sich die Version v2024.4.2 für stable sowie v2022.5.7 für Legacy Gerät...

Back to Top ↑

2023

Supportende von 8/64 Routern

2 minute read

Wie ihr vielleicht schon in unserem Chat mitbekommen habt, werden manche Geräte demnächst nicht mehr unterstützt. Unter anderem fallen diese Geräte durch gel...

Back to Top ↑

2022

Sicherheitsupdate am Donnerstag, den 05.05.2022

less than 1 minute read

Am Donnerstag, den 05.05.2022 werden wir Updates für alle Knoten im Netzwerk ausrollen. In unserer Basis-Firmware Gluon wurde eine kritische Sicherheitslücke...

Richtfunk Projekt Heimstettner See

1 minute read

Unser neuestes und bisher größtes Richtfunk Projekt, ist die Anbindung einer Wasserwacht am Heimstettner See.

Back to Top ↑

2021

Reboot der Freifunk Augsburg Community!

1 minute read

Eine große Neuerung bahnt sich schon seit einiger Zeit an. Die Augsburger unter Euch haben es vielleicht schon mitbekommen: Wir planen einen Neustart der Aug...

Freifunk München im Autokino Aschheim

less than 1 minute read

Wir freuen uns zusammen mit dem Autokino Aschheim eine Installation für alle Besucher des Kinos bereitstellen können. Außerdem bietet uns der Standort die Mö...

Back to Top ↑

2020

Freifunk München - Weihnachtsaktion

less than 1 minute read

Um den Betrieb von Freifunk München sicherzustellen, sind wir, wie viele Projekte, die von Ehrenamltichen betrieben werden, auf eure finanzielle Unterstützun...

Auflösung des Gewinnspiels 2020

less than 1 minute read

Wie angekündigt verlosen wir einen Unifi AC-Mesh für den ersten und einen GL.iNET B1300 für den zweiten Platz.

Bitte abstimmen fürs Gewinnspiel 2020

less than 1 minute read

Nachdem wir durch #Corona und unseren dafür eingerichteten Konferenzserver meet.ffmuc.net etwas abgelenkt waren, kommt jetzt endlich die Abstimmung zu den Pr...

MEET - Ausfall am 21.04.2020 von 10:04 - 10:24

2 minute read

Leider hatten wir heute in der PrimeTime um 10 Uhr einen Ausfall zu verzeichnen. Die entsprechenden Gegenmaßnahmen sind getroffen und dieser Fehler tritt nic...

Konferenzserver - meet.ffmuc.net

less than 1 minute read

Die aktuelle Lage mit dem Corona Virus macht für uns alle das Leben etwas schwerer und führt zu weniger Sozialkontakten.

Gewinnspiel 2020

less than 1 minute read

Nachdem es nun soweit ist und die 4MB Flash Geräte mit dem nächsten Firmware Update nicht mehr berücksichtigt werden können, veranstalten wir ein Gewinnspiel.

Back to Top ↑

2019

DNS-over-HTTPS und DNS-over-TLS Unterstützung

1 minute read

Sicher habt ihr schon von dem Thema gehört, welches zur Zeit groß durch die IT-News geistert. Mozilla wird in Firefox Cloudflare als DoH-Server integrieren u...

Aktuelle Anleitungen und Dokumentationen im WIKI

less than 1 minute read

Einige werden es schon mitbekommen haben: Auf unserer Homepage wird die Erstinstallation und -konfiguration eines neuen Freifunkrouters an Hand eines TL-WR84...

Austausch älterer Router

2 minute read

Wie ihr vielleicht schon in unserem Chat mitbekommen habt, werden manche Geräte demnächst nicht mehr unterstützt. Unter anderem fallen diese Geräte durch gel...

Warum gibt es verschiedene SSIDs?

2 minute read

Nachdem uns nun öfter im Chat oder per Twitter die Frage gestellt wurde, warum wir keine einheitliche SSID wie “muenchen.freifunk.net” wie in der Vergangenhe...

Migration abgeschlossen

2 minute read

Nach den ganzen Neuigkeiten der letzten Wochen, haben wir es endlich hinter uns:

Infrastruktur Reboot Teil 1

1 minute read

Nachdem wir die letzten Monate damit zugebracht haben die Freifunk München Infrastruktur komplett zu erneuern und die ersten sichtbaren Änderungen auch schon...

Tests für v2019.0 auf experimental

less than 1 minute read

Wie erwähnt haben alle Knoten auf “experimental” das Update von v2016.0 auf v2018.0 heil überstanden, sodass wir uns nun dazu entschieden haben, dieses Image...

Firmware-Release v2018.0 geplant am 26.03.

less than 1 minute read

Der Rollout der aktuellsten Firmware v2018.0 auf experimental lief (fast) wie erwartet. Wir wollten ja, wie angekündigt am 12.03.2019 die aktuelle stable auf...

Firmware-Release v2018.0 - Phase 2

1 minute read

Wie schon erwähnt hat Krombel sich daran gemacht und die Konfiguration der Freifunk-Firmware auf ein aktuelles gluon (v2018.2) aktualisiert. Dabei ist ihm au...

Upgrade Uplink auf 2 Gbit/s

less than 1 minute read

Auf Grund der fleissigen Arbeiten des neuen Infrastruktur Teams wurde festgestellt, dass unsere Bandbreite zwar zwischen 600-800 Mbit/s in den Peaks liegt. J...

Neue Firmware v2018.0

less than 1 minute read

Für ein anstehendes Upgrade wird aktuell das FFMuc Firmware Relase v2018.0 vorbereitet:

Back to Top ↑

2016

Neue Stable Firmware v2016.0

less than 1 minute read

Es ist endlich soweit, gerade eben wurde eine neue Version der FFMuc Software freigegeben v2016.0.

Freifunk auf dem Corso Leopold

less than 1 minute read

Freifunk München hat wieder einen Stand am Corso Leopold, der in Schwabing am 11. und 12. Juni stattfinden wird. Bei (hoffentlich) schönem Wetter wollen wir ...

Firmware für TP-Link TL-WR841N(D) v10

less than 1 minute read

Um die aktuelle Routerversion v10 des beliebten Modells TP-Link TL-WR841N(D) nutzen zu können, bitten wir vorerst die experimentelle Version unserer nächsten...

Back to Top ↑

2015

1000 Knoten online

less than 1 minute read

Wir sind vierstellig! Nach nur 5 Monaten wurde die Knotenanzahl verdoppelt; heute Mittag waren 1000 Nodes gleichzeitig online.

SZ berichtet über Freifunk in Pullach

less than 1 minute read

Die Süddeutsche Zeitung veröffentlichte auf ihrer Webseite vorgestern einen Artikel, der die gegenwärtige Situation in Pullach zum Aufbau eines unabhängigen ...

B5 aktuell Beitrag

less than 1 minute read

Heute Mittag lief bei B5 aktuell im interkulturellen Magazin eine Sendung, die unter anderem über Freifunk berichtete.

Flüchtlinge in München funken frei

less than 1 minute read

Unsere Stadt München und “Freifunk München” bauen freies WLAN in allen Flüchtlingseinrichtungen für Jugendliche auf. Es wird gewünscht in weiteren Schritten ...

Freifunker helfen Flüchtlingen

less than 1 minute read

Der Bayerische Rundfunk berichtet online über Freifunk München und das aktuelle Thema der Versorgung von Flüchtlingsunterkünften: Freifunker helfen Flüchtli...

Erste Podcast Folge online

less than 1 minute read

Hier und unter ffmuc.net/podcast gibt es nun die erste Folge des Freifunk München Podcasts zum Anhören und zum Download.

Infomaterial

less than 1 minute read

Infomaterial

Update verschoben

less than 1 minute read

Größeres Upgrade des Freifunk-München Netzes verschoben!

Start des Produktivbetriebs am 16. März 2015

less than 1 minute read

Größeres Upgrade des Freifunk-München Netzes Wir planen gerade am Montag, den 16.03.2015 ein größeres Upgrade des Freifunk-München Netzes. Damit einher geht ...

Beitrag über Freifunk München auf Bayern 1

less than 1 minute read

Erneut berichtet der bayerische Rundfunk über das Projekt Freifunk München. Dieses mal gibt es einen Online-Artikel mit einem unserer Mitglieder, als auch e...

Gründung des Vereins Freie Netze München

less than 1 minute read

Heute fand die Gründungsveranstaltung des Vereins Freie Netze München statt. Mit Hilfe von 17 anwesenden Gründungsmitgliedern wurde die Satzung des Vereins ...

Back to Top ↑

2014

Neue Firmware Version und erweiterte Statistiken

less than 1 minute read

Heute wurde eine neue Freifunk München Firmware Version freigegeben (snapshot~20141119). Router die Autoupdate aktiviert haben (dies ist standardmäßig der F...

Beitrag über Freifunk München auf Radio BR2

less than 1 minute read

Unter dem Titel “Freies kostenloses Internet für alle - Bayern startet” wurde heute im Notizbuch Service Bayern 2 ein Beitrag über das Münchner Freifunk Proj...

Freifunk München auf der Make Munich

less than 1 minute read

Am 01. und 02. November fand in der Tonhalle auf dem Gelände der Kultfabrik die Maker-Messe Make Munich statt.

Testbetrieb gestartet

less than 1 minute read

Der Testbetrieb für das neue Netz von Freifunk München ist seit kurzem gestartet!

Back to Top ↑