Det her indlæg er omtrent det værste, jeg har skullet skrive i meget meget lang tid!

kl. 7 her til morgen tabte vi vores firewall – med et knibs. Timingen var noget nær perfekt. Jeg var på vej ind på kontoret i Brabrand, og Bo sadlet op til 4. etape på årets Team Rynkeby Tour til Paris.

kl 11 gik jeg i gang med at fejlsøge vores serverpark. Det mest frustrerende var at jeg hurtigt kunne konstatere at såvel vores fiber forbindelser til altibox.dk såvel som tdc.dk fungerede upåklageligt, alle de virtuelle instanser med webhoteller, backup, mail, spamfiltre, og andre mindre åbenlyse tjenester alle kørte på fuld damp – der kom bare ikke et kvæk ud, eller ind for den sags skyld. Det rettede naturligt søgelyset mod vores firewall!

kl 14 var fejlen blotlagt. På billedet herover ser du ned i “el motoren” på det metal, der bla driver vores firewall. Til højre og venstre ser du 2 PCI kort som er bestykket så de burde træde ind for hinanden, hvis den ene fejler. Sådan er det i teorien, men virkeligheden ville det anderledes 🙁

kl 16 havde jeg alle tjenester lukket ned og serveren var slukket. Jeg fjernede det ene kort og da jeg startede serveren op igen, blinkede den skælmsk med sit ene grønne øje: nu er jeg frisk igen syntes den nærmest at hviske til mig.

kl 17:56 var serveren oppe i fulde omdrejninger og alle services genstartet, og de første kunder begyndte at få deres velfortjente dynger af mails leveret, sådan som de retteligt kunne forvente.

I 2018 og 2019 har vi ligger på en oppetid på mellem 99,92 og 99,98 – indtil i dag altså; med et er vi røget ned på 99,75; 656 minutter uden drift eller 0,25 – der er en verden til forskel, og vi ved det godt!

Alle ISP’er prøver det, og i dag var det så vores tur. Vi er rigtig kede af det, og undskylder for den ulejlighed og utryghed, det har skabt for vore kunder!