Update: Datenrettung für social.anoxinon.de beschlossen

Liebes Fediverse,

kurzes Update zum Ausfall von social.anoxinon.de. Wir haben in den letzten Tagen zwei wichtige Dinge geklärt – was die Community sich wünscht, und was die Datenanalyse konkret kosten wird.

Was die Community will

Weil die Entscheidung zwischen Datenrettung, altem Backup-Stand oder komplettem Neuanfang nicht nur eine technische, sondern vor allem eine Frage ist, was Euch als Community wichtig ist, haben wir ein offenes Meinungsbild gestartet. Das Ergebnis war deutlich: 11 von 14 Stimmen für die vollständige Datenrettung, nur 2 für einen kompletten Neuanfang und 1 für die Nutzung des alten Backup-Stands von 2023. Das bestärkt uns: Die Historie dieser Instanz, all die Beiträge, Vernetzungen und Gespräche der letzten Jahre, ist für Euch kein verzichtbares Beiwerk, sondern der eigentliche Wert von social.anoxinon.de. Das deckt sich mit unserer eigenen Einschätzung im Vorstand.

Technische Nachfragen

Aus der technikaffinen Ecke des Fediverse kamen seither auch ein paar berechtigte Nachfragen, die wir kurz beantworten wollen.

Warum hat der Proxmox Backup Server die Datenbank nicht erfasst?

Der PBS sichert normalerweise die komplette VM bzw. den kompletten Container. Uns war aber bewusst, dass unsere per Mountpoint eingebundenen Daten davon nicht abgedeckt werden – deshalb hatten wir uns bewusst auf unser zusätzliches, historisches Borg-Backup verlassen, das genau diese Lücke schließen sollte. Der eigentliche Grund, warum am Ende doch beide Backup-Systeme diese Lücke nicht geschlossen haben, liegt im Detail unseres Setups: Die Datenbank lag nicht in einem regulären, vom PBS erfassten Volume, sondern wurde per Mountpoint als BTRFS-Subvolume direkt aus dem Proxmox-RootFS in den Container eingebunden. Das war damals eine bewusste Entscheidung, um Performance-Probleme zu vermeiden – ein Setup, das am Ende eben weder PBS noch BorgMatic korrekt erfasst haben.

Sind die Blockdevices nur “gebrickt” oder wirklich defekt?

Wenn ein Blockdevice (in unserem Fall: zwei NVMe-Laufwerke) durch reinen Zellenverschleiß “gebrickt” ist, lässt es sich oft noch per ddrescue auslesen und retten. Laut unserem internen Techteam lag der Wear Level der Zellen aber noch bei komfortablen 30–50 % – die Laufwerke wurden von der Hardware selbst gar nicht mehr erkannt, was eher für einen Defekt am Controller-Chip spricht als für reinen Verschleiß. Genau deshalb reicht ein einfaches Auslesen hier leider nicht, und es braucht die spezialisierte Analyse bei DataReverse.

Kosten der Analyse

Wir haben deshalb die Auftragsbestätigung für die Datenrettungsanalyse bei DataReverse herausgegeben. Die genauen Kosten für die Analyse stehen jetzt fest:

Summe ohne Kaution: 558,50 € Summe mit Kaution: 867,90 €

Wichtig: Das sind ausschließlich die Kosten für die Analyse. Was die eigentliche Datenrettung anschließend kostet, wissen wir ehrlich gesagt selbst noch nicht – das erfahren wir erst danach, und wir wollen hier keine Zahl in den Raum werfen, die wir nicht belegen können.

Spendenstand

Aus Datenschutzgründen veröffentlichen wir hier keine Namen, sondern nur die einzelnen eingegangenen Beträge:

Gesamtsumme: 585,01 €

Dazu kommt weiterhin die Zusage von GNU/Linux.ch über 500 €, die ausgezahlt wird, sobald wir die eigentliche Datenrettung beauftragen.

Ein herzliches Dankeschön an alle, die bislang gespendet haben! Falls Ihr namentlich genannt und öffentlich bedankt werden möchtet, meldet Euch gerne bei uns, zum Beispiel per Mail an buchhaltung@anoxinon.de – ohne eure ausdrückliche Einwilligung veröffentlichen wir grundsätzlich keine Namen oder sonstigen personenbezogenen Spendendaten.

Wohin Ihr spenden könnt

Weil wir die tatsächlichen Kosten der Datenrettung noch nicht kennen, gehen wir als Vorstand vorsichtshalber vom ungünstigsten Fall aus. Wir haben in unserer OpenSource-Buchhaltung ein Ziel von 4.000 € hinterlegt – nicht, weil wir glauben, dass es tatsächlich so teuer wird, sondern damit wir für den unwahrscheinlichen, aber möglichen Fall einer hohen Rechnung gerüstet sind, ohne dass der Verein dadurch in Schwierigkeiten gerät. Erreichen wir dieses Ziel, sind wir unabhängig vom tatsächlichen Angebot auf der sicheren Seite. Falls Ihr könnt und wollt, hilft uns jede weitere Spende:

• Kontoinhaber: Anoxinon e.V.
• IBAN: DE16 5735 1030 0055 0591 25
• BIC: MALADE51AKI
• Verwendungszweck: Data Recovery Mastodon

Falls durch Eure Spenden mehr zusammenkommt, als für die Datenrettung tatsächlich gebraucht wird, fließt der Überschuss in unsere laufenden IT-Betriebskosten – also in genau die Infrastruktur, die diesen Ausfall in Zukunft besser abfedern soll. Wer uns lieber ohne Zweckbindung unterstützen möchte, lässt das Feld für den Verwendungszweck einfach leer oder schreibt “Allgemein”.

Spenden sind steuerlich absetzbar, auch unter einer Jahressumme von 200 €. Eine Bescheinigung stellen wir gerne aus – Voraussetzung ist eine nicht-anonyme Spende, meldet Euch dafür einfach bei buchhaltung@anoxinon.de. Weitere Infos zu Unterstützungsmöglichkeiten findet Ihr auf unserer Unterstützungs-Seite.

Alternativen für die Downtime

Für alle, die in der Zwischenzeit eine temporäre Fediverse-Heimat suchen: Auf unserer Mastodon-Instanz in der Stage-Umgebung, social.stage.anoxinon.de, könnt Ihr Euch jederzeit einen Account anlegen. Unsere Stage-Plattformen sind keine Wegwerf-Umgebungen, sondern bleiben dauerhaft bestehen – wir nutzen sie fortlaufend zum Testen von Software-Updates und neuen Diensten, bevor sie produktiv gehen. Ihr müsst also keine Angst vor einer Account-Flucht haben, falls Ihr dort vorübergehend andockt. Kleine Anekdote am Rande: Auf genau dieser Stage-Umgebung testen wir aktuell auch schon die Umstellung unseres Volume-Setups, damit die Datenbank künftig wieder ganz regulär vom Proxmox Backup Server mit erfasst wird – der Fehler, der uns das hier eingebrockt hat, soll sich nicht wiederholen.

Für schnelle Zwischenstände nutzen wir außerdem unseren Account auf BizzFed, @anoxinon_stage@bizzfed.stage.anoxinon.de – aktuell unser einziger offizieller Fediverse-Kanal, auf dem das ganze Team posten kann, während diesen Blog bislang nur eine Person pflegt. Dort gab es zwischenzeitlich schon kürzere Updates, unter anderem zu den finalen Analysekosten.

Berlin FediDay

Kurzer Themenwechsel zum Schluss, der nichts mit dem Ausfall hier zu tun hat: Seit dem 1. August gibt es Tickets für den Berlin FediDay (11.–13. September, c-base Berlin), den wir gemeinsam mit dem Fediverse Stammtisch Berlin, der Digitalen Gesellschaft, der c-base und weiteren mitorganisieren. Wir sind sogar mit zwei eigenen Vorträgen dabei: YoSiJo spricht über unsere Infrastruktur (“Ein bewusstes HomeLab voller Katzen”), und Sozialwelten hält einen Vortrag über Gabenlogik, Reziprozität und die institutionelle Seite des Fediverse. Schaut vorbei, das unterstützt einen zentralen Community-Knotenpunkt aus unserem Umfeld.

Wie es weitergeht

Als Nächstes müssen die betroffenen Blockdevices zwischen Hetzner und DataReverse koordiniert und verschickt werden. Sobald wir das Angebot für die eigentliche Datenrettung haben, hört Ihr wieder von uns.