Jump to content
Kantholz

BF-Games Servercrash

Recommended Posts

Hier ein kurzes Statement von offizieller Seite.

Heute (am 11. September 2012) gab es einen verheerenden Zwischenfall unseres Webservers. Normal verfügt der Server über zwei Festplatten die via RAID1 gespiegelt sind. Was heute früh gegen 7:45 Uhr passiert ist, ist der Super-GAU eines jeden Servers: Beide Festplatten meldeten extrem hohe read und write error-rate via S.M.A.R.T. - hier beginnen dann die Festplatten auf "Reserversektoren" zu schreiben und die fehlerhaften Sektoren "auszuklammern" (vereinfacht). Davon sind aber nur eine begrenze Anzahl von Sektoren reserviert, ist dieser Wert gleich null gibts keine "Ausweichmöglichkeit" mehr.

Laut Hetzner Support sind beide Platten physikalisch defekt.

Den ganzen Tag über hab ich dann mit Hilfe eines "rescue" Systems eine der beiden Platten wieder einigermaßen gangbar gemacht sodass ich auf Teile der Daten zurückgreifen konnte. Das "aktuelle" Backup das ich von den Festplatten sichern konnte war leider das vom Stand des 22.06.2012. Beim Versuch neuere Backups wegzukopieren hat sich die Platte immer nach kürzester Zeit vom Bus abgehängt - was die Aussage des Hetzner Supports unterstützt.

Der Grund für diesem Datenverlust liegt daran, dass die MySQL Dumps die täglich gemacht wurden nicht auf unserem "externen" Backupserver gespeichert wurden, da dieser bereits voll war mit den Newsbildern und vor allem den Uploads aus dem Forum.

Nach kurzer internen Diskussion haben wir beschlossen die Seite mit den vorhandenen Daten so schnell wie möglich wieder online zu bringen, wohlwissend um den Verlust von rund 3 Monaten News, Downloads, Kommentaren, Threads und Forenposts. Unser Ziel ist es das Portal im Bezug auf die News innerhalb der nächsten Wochen so weit wie möglich wieder zu vervollständigen, das Forum rückwirkend mit Informationen zu versorgen ist allerdings leider nicht möglich.

Soviel erstmal zum jetzigen Stand der Dinge - alles weitere folgt in den nächsten Stunden bzw. Tagen.

PS: die hochgeladenen Bilder, Avatare und Co. spiel ich gerade eben wieder ein.

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

erstmal danke fürs schnelle wieder on gehn, ihr (du?) braucht jetzt sicher literweise kaffee^^

news haben manche redakteure vllt noch aufm rechner in worddokumenten oder so. das forum wird sich von selbst wieder füllen (tuts ja jetzt schon).

gibts nicht die möglichkeit 2 "externe" backupserver laufen zu lassen? einen für newsbilder und den ganzen klump, der andere für mysql dumps.

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Ist halt einfach immer ne Kostensache... Im Leben ist nix umsonst, und vor allem für ein richtig ausfallsicheres Backupkonzept kannst man richtig viel Geld ausgeben.

Das Thema (Ausfall-) Sicherheit ist bei weitem nicht zu kurz gekommen, aber für einen "Tod" mussten wir uns letztendlich entscheiden. Und so wurde eben zwischen "DB Dumps auslagern und auf Bilder verzichten" und "DB Dumps lokal auf deim [eigentlich] ausfallsicheren RAID1 lassen und Bilder rsyncen" abgewägt und wir haben uns für ersteres entschieden.

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

und wenn man einfach die bilderupload-funktion (für screens etc.) deaktiviert? :ugly:

die ist eh meistens ziemlich limitiert von der bildergröße her, da ist z.B. abload viel komfortabler. benutze eh nichts anderes

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Wow, hab ich noch nicht gehört das zwei Platten im Raid 1 gleichzeitig den Geist aufgeben. Hatte mich schon gewundert das die Seite den ganzen Tag down war und nu nix aktuelleres als Juni zu finden war, aber hey, BF-G lebt und das zählt! :D

Der Rest wird sich die Wochen sicher wieder einrenken

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

bad luck^99 :( wirklich helfen kann ich in den nächsten 2 wochen aber nicht, weil ich da im urlaub bin. hoffentlich bekommen wir wenigstens wieder einen recht großen anteil von allem wieder neu erstellt..

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Huhu,

Ah, jetzt weiß ich endlich was los war.

Zuerst dachte ich ja an einen Hack oder dergleichen, aber den würdet ihr ja nicht unter den Teppich kehren, oder?

Ich hab mich gar erschreckt, weil mein (neues) Passwort nicht funktionierte.

Wirklich schade um die Daten.

Habt ihr denn nicht einen extra Backupserver für soetwas?

Da reicht ja schon theoretisch popeliger Filespace für einige Groschen sofern da bei inkrementellen (!) Backups nicht hunderte Gigabytes anfallen Oo.

Ich mein, bekommt man diese Dinger denn bei Serverangeboten nicht gratis hinterhergeschmissen? Bei einem bekannten Hoster gibts zum Beispiel zu jedem Server netzinternen Backupspace ab 100Gb.

Dennoch, ein Ausfall des gesamten RAID-Verbunds ist schon krass - und dies auch noch am 11. September. Man könnte dies gar als Zeichen deuten...

Gruß,

PS

Man kann keine Avatare mehr uploaden weil du Uploadfunktion mit einem Fehler quittiert.

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Ich für meinen Teil schreibe die News live und speicher sie nicht bei mir ab <_<

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen
(...)

Habt ihr denn nicht einen extra Backupserver für soetwas?

Da reicht ja schon theoretisch popeliger Filespace für einige Groschen sofern da bei inkrementellen (!) Backups nicht hunderte Gigabytes anfallen Oo.

(...)

Ich mein, bekommt man diese Dinger denn bei Serverangeboten nicht gratis hinterhergeschmissen? Bei einem bekannten Hoster gibts zum Beispiel zu jedem Server netzinternen Backupspace ab 100Gb.

Diesen Backupspace nutzen wir bereits für den "uploads" Ordner im Forum und für unseren Images vhost (der auch noch nicht läuft...)

hier werden die Daten schlicht und einfach ge-rsynct, keine revisionsverwaltung, nothing, nur ein 1:1 spiegel. Damit ist dieser Backupspace fast voll, es würde de fakto kein einziger Tag der sqldumps mehr draufpassen, da diese selbst ge-tar-gzipt noch mehrere gigabytes groß sind (vor allem das forum mit seiner "posts" tabelle schlägt da ordentlich zu buche, aber auch die kommentartabelle aus dem portal ist nicht zu vernachlässigen).

Man kann keine Avatare mehr uploaden weil du Uploadfunktion mit einem Fehler quittiert.

ich weiß, ist beabsichtigt. der wwwrun benutzer bekommt wieder schreibrechte sobald ich wieder alles zurück-ge'rsycnt habe um keinen inkonsistenten Stand zu verursachen.

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen
Ist halt einfach immer ne Kostensache... Im Leben ist nix umsonst, und vor allem für ein richtig ausfallsicheres Backupkonzept kannst man richtig viel Geld ausgeben.

Das Thema (Ausfall-) Sicherheit ist bei weitem nicht zu kurz gekommen, aber für einen "Tod" mussten wir uns letztendlich entscheiden. Und so wurde eben zwischen "DB Dumps auslagern und auf Bilder verzichten" und "DB Dumps lokal auf deim [eigentlich] ausfallsicheren RAID1 lassen und Bilder rsyncen" abgewägt und wir haben uns für ersteres entschieden.

+1

Zumindest die DB muss einmal pro Woche (automatisch) gesichert werden. Komplettbackup der gesamten Seite sollte aber auch 1x im Monat erfolgen. 3 Monate ist schon sehr lange. :(

Zu dem Thema sollte man schnell eine News auf die HP packen. Die "aktuelle" über das double XP ist *etwas* verwirrend. :)

Habt ihr mal bei eurem Hoster nachgefragt wieviel euch ausreichend Backupspace pro Jahr kosten würde?

Man kann ja einen Donation Run auf der HP starten mit Donationmeter *soviel Kohle brauchen wir für den server!* - zus. Newsmail an alle reg. Benutzer. Da sollte das schon machbar sein.

bearbeitet von sid6.5

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

http://wiki.hetzner.de/index.php/Backup

wir werden definitiv in Erwägung ziehen dan Backupspeicher zu erhöhen, wie wir das mit den Kosten machen muss erstmal intern durchdiskutiert werden, weil da sind wir ab absoluten maximum angelangt was das Team aufwenden kann...

Wie gesagt: Backups wurden täglich gemacht, auch mir Backuprevisionen, aber das ist halt relativ hinfällig wenn mans auf einer Partition auf dem Raid speichert und sich das gesamte Raid verabschiedet :-/

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Woaaaa, gestern den ganzen Tag nicht gewüsst wie ich mir die Zeit bei der Arbeit ohne BF-G totschlagen soll! :)

Danke deshalb an alle beteilligten das heute wieder alles funktioniert!

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Erstelle ein Benutzerkonto oder melde dich an um zu kommentieren

Du musst ein Benutzerkonto haben um einen Kommentar hinterlassen zu können

Benutzerkonto erstellen

Neues Benutzerkonto für unsere Community erstellen. Geht einfach!

Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde dich hier an.

Jetzt anmelden

  • Wer ist Online   0 Benutzer

    Keine registrierten Benutzer online.

×

Übrigens…

Wir verwenden übrigens auch Cookies. Aber: Wir tracken nichts sondern erleichtern dir damit das Leben. Mehr dazu findest du hier.