...Stand der Dinge...
Verfasst: 12 Aug 2025, 17:40
sooo - moin zusammen...
wie man sieht - das Forum ist wieder online. Nach etwas über einer Woche.
Hier mal ganz kurz, was passiert ist. Denn - das ist mehr als nur EINE Sache, die sich da ereignet hat.
Vorher aber die tl;dr - Version:
- der alte Server ist Vergangenheit
- das hier ist ein neuer Server (immer noch beim bisherigen Anbieter, aber auf anderer Technologie und in einem anderen Rechenzentrum)
- Entwicklung an einem neuen Forum läuft
- Persönliche Daten wurden NICHT irgendwie abgegriffen
- ja, das hier sollte jetzt stabil laufen
- es gibt maximal noch einen kleinen Schluckauf, wenn die Domains final umziehen
--------
soo, jetzt die längere Fassung, was passiert ist und was versucht wurde:
Letzte Woche Dienstag (5.8., kurz nach 12 Uhr) ist der Server abgestürzt. Reboot hat kurz etwas gebracht - aber die Daten waren korrupt. Dafür hat man Backups - also habe ich den Rollback auf einen früheren Stand angestoßen.
Der Restore lief 6 Stunden - und nach dem Restore startete die Datenbank nicht mehr. Datenfiles korrupt - und im Gegenzug kamen viele, interessante Meldungen, die so nicht hin gehören. In den Logs sah man: Da waren Aufrufe, die der Server nicht machen sollte. Kurz geprüft - nichts sicherheitsrelevantes, aber sicherheitshalber ein Backup vom 1. August versucht einzuspielen. Wieder 6-7 Stunden warten.
Auch dieses Backup ließ sich nicht ordentlich wiederherstellen. Also macht man, was man machen kann: Man startet das Rettungssystem.
Und es startete....und startete....und kam nicht hoch
Kurze Nachfrage im Rechenzentrum ergab: Offensichtlich hatte das Hostsystem einen Schaden. Einen Schaden, der so beträchtlich war, dass ETLICHE Daten auf dem Server korrupt gegangen sind (offensichtlich haben sich die Daten der unterschiedlichen VMs auf der Platte leicht vermischt. Sollte nicht passieren - es gibt aber immer wieder Bericht, dass sowas vorkommen KANN, wenn ein Defekt oder Bug vorliegt). Die Reparatur des Systems hat bis gestern, Montag, 11.8. gedauert. Bis 18:20, um genau zu sein.
Nach der Reparatur startete die Datenbank aber nicht mehr. Ohne Datenbank, kein Forum, keine Adminkonsole und auch viele anderer Dinge, für die der Server benutzt wird, laufen ohne Datenbank nicht. Ich habe mich mit Datenbank-Spezialisten besprochen, etliche Infos gewälzt, Google Gemini und ChatGPT mit so vielen Details gelöchert, dass auch die KIs am Ende aufgegeben haben und meinten "es gibt nichts mehr, was du tun kannst".
Doch - eines gab es: Stellar Repair for MySQL (funktioniert auch mit MariaDB und anderen, kompatiblen Datenbanken). Kostet zwar, aber mit dem Programm habe ich die Datenbankdateien gerettet und die Inhalte wiederhergestellt bekommen.
Den heutigen Tag habe ich dann bis etwa 14 Uhr damit verbracht, IRGENDWIE die Datenbank wieder lauffähig zu bekommen. Kaputte Daten weggeworfen, reparierte Daten wieder eingespielt - alles Fehlanzeige. Die Datenbank wollte nicht mehr starten, die Dienste nicht mehr starten.
Vor etwa 1,5 Stunden habe ich mir dann ein Herz gefasst und noch die letzten Daten gerettet, einen weiteren, neuen Server angemietet, das letzte, stabile Backup eingespielt und dann sämtliche SQL-Daten (also das, was ihr hier als Posts, Bilder, Themen etc. seht) von Hand auf den letzten, aktuellen Stand zurückgerollt. Ich kann nicht garantieren, dass ich beim Rollback alles erwischt habe (weil es zu 100% Handarbeit war. Wenn was wichtiges fehlt - meldet euch bitte direkt!) oder ob durch die Datenkorrumpierung nicht vielleicht ein paar Zeichen oder Posts verschoben wurden (wer zu Tippfehlern neigt: Ihr habt jetzt eine Ausrede. Zumindest für die Vergangenheit!).
Damit so etwas nicht nochmal passiert, gibt es bereits Bemühungen, die Serverplattform und -architektur KOMPLETT zu wechseln (einen entsprechenden root-Server habe ich bei Hetzner bereits angemietet. Der dient uns dann demnächst als Entwicklungsplattform und später als neue Heimat für die neue Forenversion, so die Entscheidung denn so fallen sollte). Außerdem werde ich zusätzlich zu den bestehenden Backups, die hier offensichtlich aufgrund von mehreren Defekten nicht funktioniert haben, noch Backups von Backups halten und diese - verschlüsselt und gesichert - an einem Ort aufbewahren, wo nicht nur ich, sondern noch andere Zugriff drauf haben.
Die letzte Woche...war unschön. Ich kann nun lediglich sagen, dass ich heute Nacht zumindest endlich mal in Ruhe schlafen können werde, weil ich weiß, dass hier alles wieder weitestgehend so läuft, wie es laufen soll. Von mir ein großes Sorry, dass ichs nicht schneller und noch professioneller wieder hoch bekommen habe.
In dem Sinne - viel Spass weiterhin.
wie man sieht - das Forum ist wieder online. Nach etwas über einer Woche.
Hier mal ganz kurz, was passiert ist. Denn - das ist mehr als nur EINE Sache, die sich da ereignet hat.
Vorher aber die tl;dr - Version:
- der alte Server ist Vergangenheit
- das hier ist ein neuer Server (immer noch beim bisherigen Anbieter, aber auf anderer Technologie und in einem anderen Rechenzentrum)
- Entwicklung an einem neuen Forum läuft
- Persönliche Daten wurden NICHT irgendwie abgegriffen
- ja, das hier sollte jetzt stabil laufen
- es gibt maximal noch einen kleinen Schluckauf, wenn die Domains final umziehen
--------
soo, jetzt die längere Fassung, was passiert ist und was versucht wurde:
Letzte Woche Dienstag (5.8., kurz nach 12 Uhr) ist der Server abgestürzt. Reboot hat kurz etwas gebracht - aber die Daten waren korrupt. Dafür hat man Backups - also habe ich den Rollback auf einen früheren Stand angestoßen.
Der Restore lief 6 Stunden - und nach dem Restore startete die Datenbank nicht mehr. Datenfiles korrupt - und im Gegenzug kamen viele, interessante Meldungen, die so nicht hin gehören. In den Logs sah man: Da waren Aufrufe, die der Server nicht machen sollte. Kurz geprüft - nichts sicherheitsrelevantes, aber sicherheitshalber ein Backup vom 1. August versucht einzuspielen. Wieder 6-7 Stunden warten.
Auch dieses Backup ließ sich nicht ordentlich wiederherstellen. Also macht man, was man machen kann: Man startet das Rettungssystem.
Und es startete....und startete....und kam nicht hoch
Kurze Nachfrage im Rechenzentrum ergab: Offensichtlich hatte das Hostsystem einen Schaden. Einen Schaden, der so beträchtlich war, dass ETLICHE Daten auf dem Server korrupt gegangen sind (offensichtlich haben sich die Daten der unterschiedlichen VMs auf der Platte leicht vermischt. Sollte nicht passieren - es gibt aber immer wieder Bericht, dass sowas vorkommen KANN, wenn ein Defekt oder Bug vorliegt). Die Reparatur des Systems hat bis gestern, Montag, 11.8. gedauert. Bis 18:20, um genau zu sein.
Nach der Reparatur startete die Datenbank aber nicht mehr. Ohne Datenbank, kein Forum, keine Adminkonsole und auch viele anderer Dinge, für die der Server benutzt wird, laufen ohne Datenbank nicht. Ich habe mich mit Datenbank-Spezialisten besprochen, etliche Infos gewälzt, Google Gemini und ChatGPT mit so vielen Details gelöchert, dass auch die KIs am Ende aufgegeben haben und meinten "es gibt nichts mehr, was du tun kannst".
Doch - eines gab es: Stellar Repair for MySQL (funktioniert auch mit MariaDB und anderen, kompatiblen Datenbanken). Kostet zwar, aber mit dem Programm habe ich die Datenbankdateien gerettet und die Inhalte wiederhergestellt bekommen.
Den heutigen Tag habe ich dann bis etwa 14 Uhr damit verbracht, IRGENDWIE die Datenbank wieder lauffähig zu bekommen. Kaputte Daten weggeworfen, reparierte Daten wieder eingespielt - alles Fehlanzeige. Die Datenbank wollte nicht mehr starten, die Dienste nicht mehr starten.
Vor etwa 1,5 Stunden habe ich mir dann ein Herz gefasst und noch die letzten Daten gerettet, einen weiteren, neuen Server angemietet, das letzte, stabile Backup eingespielt und dann sämtliche SQL-Daten (also das, was ihr hier als Posts, Bilder, Themen etc. seht) von Hand auf den letzten, aktuellen Stand zurückgerollt. Ich kann nicht garantieren, dass ich beim Rollback alles erwischt habe (weil es zu 100% Handarbeit war. Wenn was wichtiges fehlt - meldet euch bitte direkt!) oder ob durch die Datenkorrumpierung nicht vielleicht ein paar Zeichen oder Posts verschoben wurden (wer zu Tippfehlern neigt: Ihr habt jetzt eine Ausrede. Zumindest für die Vergangenheit!).
Damit so etwas nicht nochmal passiert, gibt es bereits Bemühungen, die Serverplattform und -architektur KOMPLETT zu wechseln (einen entsprechenden root-Server habe ich bei Hetzner bereits angemietet. Der dient uns dann demnächst als Entwicklungsplattform und später als neue Heimat für die neue Forenversion, so die Entscheidung denn so fallen sollte). Außerdem werde ich zusätzlich zu den bestehenden Backups, die hier offensichtlich aufgrund von mehreren Defekten nicht funktioniert haben, noch Backups von Backups halten und diese - verschlüsselt und gesichert - an einem Ort aufbewahren, wo nicht nur ich, sondern noch andere Zugriff drauf haben.
Die letzte Woche...war unschön. Ich kann nun lediglich sagen, dass ich heute Nacht zumindest endlich mal in Ruhe schlafen können werde, weil ich weiß, dass hier alles wieder weitestgehend so läuft, wie es laufen soll. Von mir ein großes Sorry, dass ichs nicht schneller und noch professioneller wieder hoch bekommen habe.
In dem Sinne - viel Spass weiterhin.