Kuten useimmat on huomanneet, olivat DNSF:n sivut muutaman viikon nurin ja viestejä katosi, tässä lyhyt selvitys mitä ihan oikeasti kävi:
Eli kerhollehan hommattiin 1,5 vuotta sitten melko järeä oma palvelin 3-vuoden onsite-huoltotakuulla jossa vasteaikana on 1-vuorokausi. Palvelin on lähetulkoon parasta rautaa mitä siihen aikaan rahalla sai ja merkkinä on IBM.
Palvelimessa on mm. tupla-powerit ja RAID5-levypakka 4:llä SCSI-levyllä ja järjestelmän _PITÄISI_ toimia vielä moitteetta vaikka yksi levy tippuisi "kelkasta" eli siis hajoisi. Nyt kuitenkin kävi niin, että yksi levy tipahti alas ja IBM:n Serverraid-kortin firmwaressa olleen bugin takia se sekoitti koko levyjärjestelmän, kun levyjärjestelmä sattui vielä olemaan ReiserFS eli siis journalisoiva levyjärjestelmä niin sen palauttaminen oli erittäin työlästä ja se ei edes täydellisesti onnistunut. Tämä oli testattu vielä muutaman tunnin pyörimisellä asennusvaiheessa, mutta ilmeisesti levyjärjestelmä joutui sen verran kovalle kuormalle pyörittyään lähes koko yön kolmella levyllä, että levyille tuli ns. bad stripe.
Uusi levy saatiin saman vuorokauden aikana, mutta koska levyjärjestelmä oli sen verran sekaisin, niin jouduttiin data ensin palauttamaan ja tämä ei ollut ihan iisi operaatio. Sen jälkeen järjestelmä jouduttiin asentamaan täysin uudestaan.
Suurin osa datasta saatiin palautettua, mutta kaikkea ei, esimerkiksi osa DNSF:n forumin tietokantojen tauluista oli täynnä nollaa ja tämän takia jouduin kasaamaan käsityönä toimivan tietokannan parista kolmesta eri versiosta, dataa on sen verran, että tässä meni ihan oikeasti kymmeniä tunteja aikaa.
Miksei kunnollisia backuppeja sitten ollut: Syynä oli yksinkertaisesti se, että dataa on sen verran paljon, ettei sen siirtäminen ihan yhden yön aikana normaaliin kotikaistaan onnistu, tarkoituksena oli kehittää kunnollinen verkkobackup-ratkaisu parin palvelimen välille, mutta ajanpuutteen takia tämä oli ikävä kyllä jäännyt - otan osan vastuusta itselleni.
Mitä on tehty asian parantamiseksi:
-Serverin raid-kortin firmware on päivitetty ja IBM:lle laitettu vihainen noottiviesti
-Serveriin lisätty yksi ylimääräinen levy, jonka takia 2-levyä voi samanaikaisesti hajota ilman että järjestelmä tippuu alas
-Toimimaton levy vaihdettu
-Serveriin tilattu myös 4GB muistia nykyisen 1GB tilalle
-Lisättiin serveriin aikaisemmin hankittu etähallintakortti (ILO)
-Tehty verkkovarmistukset kahdelle eri palvelimelle pääkaupunkiseudulla ja lisäksi ne tehdään vielä parille USB-kovalevylle.
Haluaisin kiittää erityisesti Mika S. Marjamäkeä levynpalautukseen liittyvissä asioissa jeesaamisessa, henkilö on täysin DNSF:n ulkopuolinen ihminen ja DNSF ry muistikin häntä pienellä kiitoslahjalla asiasta.
Lisäkiitokset: Tommi Hippeläinen (IBM) ja Timo Vartiainen (IBM)