Moodsa aja suurim kriis, mis õnneks ei osutunud reaalsuseks

Veebruari teisel nädalavahetusel ühendasid Baltimaad end lahti Vene elektrivõrgust. Eesti, Läti ja Leedu elektrisüsteem liideti edukalt Mandri-Euroopaga. Kuigi tavalise inimese jaoks midagi ei juhtunud ega muutunud, käis kaadrite taga kuudepikkune ettevalmistus.

Ajal, mil tehnoloogia ümbritseb ja saadab meid igal pool, uurisime, kuidas möödus märgiline nädalavahetus Baltikumi suurimas andmekeskuses ning mida tegelikult Eesti jaoks tähendab ulatuslik elektrikatkestus. Intervjuus avab tausta Greenergy Data Centersi käidu- ja tehnoloogiajuht ning juhatuse liige Toomas Kell.

Kui tavainimestel paluti varuda kriisi ohus toitu, vett ja muud vajalikku, siis kuidas teie valmistusite?

Meil oli oluline vaadata üle, et elektritaristu töötaks ja tagavarasüsteemid, mis peavad elektri katkemise korral tööle hakkama, toimiks. See oli põhiline ülesanne tehnilise poole pealt.

Teiselt poolt vaatasime üle protseduurika seoses kriisihaldusega. Kõigil olulisi teenuseid osutavatel asutustel on olemas kriisiplaan ehk plaan, kuidas kriisiga toime tulla. Selle juurde käib lahutamatu osana ka taasteplaan – ehk kui midagi peaks juhtuma, mismoodi käitume, mida teeme ja kuidas olukorra lahendame. Vaatasime plaanid üle ja uuendasime vastavalt oludele.

Mis oli selle juures kõige keerulisem?

Kõikidesse pisirutiinidesse ja detailidesse pidi väga selgelt sisse vaatama ja neist aru saama, et pall kuskil maha ei kukuks, sest väike viga võib eskaleeruda suureks prohmakaks võrdlemisi kiiresti.

Pisidetailidest näitlikult rääkides: üheks potentsiaalseks stsenaariumiks oli, et elekter on terves Eestis ära ja igasugune side katkeb – kuidas jätkatakse taasteplaani elluviimist? Meie sisemine kokkulepe on, et kui kriisijuhtimise grupp omavahel enam ühendust ei saa, on hiljemalt pooleteise tunni jooksul kogunemine andmekeskuses.

Kuidas te tagavarasüsteeme üle kontrollisite?

Meil on majas olemas UPS-id ja akud, mis võtavad elektri katkemisel esimese löögi enda peale ja annavad kriitilistele süsteemidele elektrit senikaua, kuni generaatorid käivituvad. See tähendab, et kliendi vaatest teenus ei katke – toide tagatakse varusüsteemidest.

Selle tagavarataristu ülevaatamiseks kontrollisime akud üle, vaatasime, kuidas nad vastu peavad, kuidas UPS-id töötavad. Teiseks oli generaatorite testimine, mida teeme niikuinii regulaarselt. Panime generaatorid käima, vaatasime, kuidas need töötavad. Generaatorite jaoks on vaja kütust – tegime kütuseanalüüsid.

Kõige lõpuks tegime n-ö pool-blackout-testi. Katkestasime ühe toiteõla kahest ja vaatasime, kuidas kõik erinevad sõlmed selle sündmusega rakenduvad. Ehk siis kas elektritoide läheb UPS-idest akudele, kas peale seda käivituvad generaatorid jne. Kui iganädalaselt teeme lühiteste, kus generaatorid pannakse tööle kuni 15 minutiks, siis seekord oli kogu maja üle tunni aja generaatori toite peal. Samasuguse testi tegime ka teise õla peal.

Kui kaua oleks te oma kütusereservi pealt saanud toimetada?

Meie reservid on arvestatud vastavalt standardile: kui maja töötab täiskoormusel, peame tagama elektritoite 72 tundi järjest. See on meie absoluutne miinimum. Praeguse koormuse pealt tuletades saaksime üle kuu aja hakkama autonoomselt.

Lisaks on meil kütuse tarne osas varustuse tagamise leping kahe erineva tarnijaga. See tähendab, et järgmisel tööpäeval tuuakse meile kütust juurde – nii kaua kuni kütus on üleüldse kättesaadav. Ehk et suurema diversiooni korral, mille mõju ulatunuks nädalatesse või kuudesse, oleksime kenasti oma osa ära teinud sellest vaatest.

Kas kontrollide ja testide käigus tuli mõni puudus välja ka? Või toimis kõik veatult?

Tehniline pool toimis laitmatult. Kuna teeme majas regulaarselt ennetavaid teste, on vead reeglina enne süsteemide testimisi juba kõrvaldatud. Pigem oli protseduurika see, mis vajas ülevaatamist. Plaanid olid olemas, aga need oli vaja läbi mõtestada ja rollid üle vaadata, kes ja kus mida tegema peab, kui mingisugune stsenaarium rakendub – jõudes välja kriisikommunikatsioonini. Kõige halvema stsenaariumi korral on meie esimene prioriteet taastada normaalsus ja siis suhelda klientidega, mitte vastupidi. Pisinüansse on väga palju.

Kas olete selliste nüansside peale varem ka mõtlema pidanud?

Teeme kord aastas suuremaid õppusi, kus käime kogu teooria praktilises võtmes läbi. Võtame oma kriisi tegevuskavast ühe reaalse situatsiooni, näiteks elektrit ei ole enam võrgust võimalik saada või keegi saab viga, ja käime selle protsessi läbi. Selle kõige juurde käib ka kommunikatsioon.

Lõpuks läks kõik hästi, aga valmis pidi olema halvimaks. Millisteks stsenaariumiteks te valmistusite?

Põhilised märksõnad on elektri kadumine ja elektri kvaliteet. Kui elektri kvaliteet on rikutud, mõjub see seadmetele. Kuna meie klientide riistvara on üsna kallis, võivad igasugused kõrvalekalded kujuneda väga-väga kulukaks.

Aga füüsiline turvalisus?

Sõltumata sellest, et meie kompleks on niigi turvatud, tekkis meile veel n-ö lisakaitsekiht. Kuigi me ei kuulu veel riigi jaoks kriitilise tähtsusega taristu nimistusse, on meie kõrval Harku alajaam, mida kaitsti väe ja hingega. Toodi raudbetoontõkked, seati okastraadid üles. Kohal oli Kaitseliit ja politsei. Kui enne olime teoreetiliselt teadlikud, et meie naabrit kaitstakse, siis nüüd nägime selle ka reaalselt ära.

See tekitas omakorda huvitavaid väljakutseid. Üsna tihti juhtub, et kliendid tulevad meie juurde ka öösel, kui neil on midagi katki läinud. Kui politsei sind kell üks öösel automaatidega maha võtab, võivad emotsioonid olla üsna varieeruvad. Mõni tunneb suurt uhkust, et asi on tõsiselt ette võetud. Teine aga küsib, miks mind kiusatakse – tahtsin tavapäraselt kiirustades oma probleemi lahendama minna.

Kuidas see nädalavahetus reaalsuses välja nägi? Kas tekkis olukordi, mida pidi käigupealt lahendama?

Koondasime oma “vägesid” majja. Jälgisime koos juhtimiskeskusega nii Vene võrgust lahti ühendamist kui sünkroniseerimist Mandri-Euroopaga. Hoidsime olulistel sündmustel vilkalt silma peal.

Olenemata sellest, et läksime vaimselt kõrgendatud valmisolekusse, oli eesmärk, et enda seas paanikat ei külva. Minu sõnum juhtimiskeskusele oli samuti olla rahulik ja tegutseda tavapärases režiimis. Õnneks läks nii, et meil ei olnud ühtki tehnilist viperust. Kõik sujus.

Kas juhtimiskeskuses löödi klaase ka kokku, kui Mandri-Euroopaga ühendamine õnnestus?

Meil nii pidulikke hetki ei olnud. Šampusepokaalide kokkulöömist ei olnud, küll olid soojad pirukad olemas. Aga lihtsalt süda oli rahul, et see asi läks hästi nii meil kui ka riigi tasandil.

Ütleme ausalt, meedia suutis päris kõvasti ärevuse fooni üle-eestiliselt tõsta. Toon siin isiklikust kogemusest näite: käin igal reedel ühes suures poes ja tol reedel – päev enne desünkroniseerimist – oli pood paksult rahvast täis, ostukärusid ei olnud. Niisugune tunne, nagu järgmist päeva ei tuleks.

Teisalt võis see olla inimestele ja ühiskonnale hea treening ja ettevalmistus ka praktilises mõttes. Sõjaoht on veel teoreetiline, aga ulatuslik elektrikatkestus oli käegakatsutav sündmus. Igaüks mõtles läbi, mida ta teeb, kui tuleb mingisugune kriis. Selle tulemusena oleme nii organisatsioonide, äride kui ka riigina palju paremini ette valmistatud.

Mis see põhiline õppetund siis oli?

Asutuste ja organisatsioonide jaoks, kes tegid praegu kriisi- või taasteplaani esimest korda läbi, oli see tegelikult ülimalt keeruline. Pidi minema mugavustsoonist välja, nende tavarutiin oli häiritud ja inimesed käitusid üsna rabedalt. Kui teed seda teatud regulaarsusega, on rutiinid selged: ei torma, vaid liigud normaalses tempos, ei ole ähmi täis. Teinekord on targem seista kui joosta – sest läbimõtlematult võid joosta ka vales suunas.

Kui varem rääkisime oma tagavarasüsteemidest – maa-alustest kütusemahutitest, varugeneraatoritest ja muust – teoreetilises võtmes, siis nüüd, kui oli ikkagi oht õhus tunda, hakkasid inimesed aru saama, miks me teeme asju nii, nagu teeme. See, et oleme kriisikindlaks ehitatud, oli ilmselt üks põhjustest, miks meil see nädalavahetus nii sündmustevaeselt möödus.

Millal võib juhtuda, et seda ettevalmistust järgmine kord vaja läheb?

Tahaksin öelda, et mitte kunagi, aga ilmselt ei vasta see tõele. Teisalt toonitan üle, et ühe korraliku andmekeskuse roll on valmis olla kriisideks. Meie keskus on ehitatud selliselt, et see peab kriisidele vastu. Meie meeskond on kokku pandud selliselt, et peame kriisidele vastu.

“Alati jääb õhku määramatus”

Riigi IT Keskuse ettevalmistust kirjeldab asutuse direktor Ergo Tars:

Desünkroniseerimiseks valmistumine andis meile võimaluse veelgi paremini mõista, kui olulised on RIT-i teenused ja kui suured on ootused meie klientidel. Protsess tõi esile, kui tähtis on avaliku sektori asutustel ja elutähtsa teenuse osutajatel omada ajakohaseid kriisi- ja teenuse taastamise plaane. Kuna maailm ja julgeolekuolukord muutuvad kiiresti, peab selliste plaanide testimine ja täiustamine olema igal aastal tööplaanis.

Valmistusime kahes suunas: RIT-i enda toimepidevuse tagamine ja klientide varustamine arvutitöökohtadega juhul, kui riskid realiseeruvad. Laiemalt õppisime, kuidas kindlustada riigi jaoks kriitilised IT-teenused elektri- ja sidekatkestuse olukorras. Selleks tuli läbi mõelda palju detaile: milliste arvutitöökohtade ja ligipääsudega varustada erasektorist riigile appi tulevad inimesed, kuidas tagada ligipääs andmetele, kuidas lahendada printimise vajadus, kuidas tagada omavaheline infovahetus näiteks satelliitühenduse abil ja palju muud.

Suurim ohukoht on tagada, et kõik RIT-i kliendid, kelle ülesanded on riigi toimepidevuse seisukohalt kriitilised, saaksid vajaliku IT-toe ootamatus olukorras. Meil on kliente üle Eesti, kuid ressursid, nii raha kui ka inimesed, on piiratud. Väljakutseks on tasakaalu leidmine, kuidas prioriseerida kõige kriitilisemaid vajadusi ja kasutada olemasolevaid vahendeid võimalikult tõhusalt.

Riskide kaardistamise, protsesside tõhustamise ja alternatiivsete lahenduste väljatöötamisega saame valmisolekut tõsta, kuid alati jääb õhku määramatus, sest iga kriisiolukord on erinev ning nõuab paindlikke lahendusi. Seega väljakutse on tagada reeglite juures ka paindlikkus, et suudaksime kliente toetada, sõltumata kriisiolukorra iseloomust.

RIT-i teenuste toimepidevuse kõrval pöörasime ettevalmistuste käigus suurt tähelepanu töötajate teadlikkusele ja valmisolekule, et meie inimesed oskaksid kriisiolukordades tegutseda ning vajadusel toetada ka oma peresid ja lähedasi. Samas nägime, et sellist teadlikkust ja harjutamist tuleb järjepidevalt edasi arendada, et reageerimine oleks sujuv ja enesekindel.

Hindame kõrgelt klientide initsiatiivi mõelda läbi mitte ainult sünkroniseerimise, vaid ka laiemalt kriiside mõju oma teenustele – kuidas need sõltuvad IT-lahendustest, elektrist ja sidest. Kutsume kliente süsteemselt kaardistama oma kriitilisi sõltuvusi ning oleme alati valmis toetama neid õppustes ja pakkuma sisendit erinevate stsenaariumite läbimängimiseks, et ühiselt riigi toimepidevust veelgi paremaks muuta.

Planeerimisega oleks pidanud alustama varem

Enefiti kogemust jagab energiaettevõtte IT infrastruktuuri valdkonna juht Tarmo Tulva:

Desünkroniseerimise projektiks hakkas põhjalikum ettevalmistus pihta ca neli kuud enne tähtaja saabumist. Vaatasime kogu kontserni vaatest üle nii juba rakendatud infoturbe meetmed kui ka konkreetselt desünkimise ajavahemikuks planeeritavad täiendavad meetmed. Suhtlesime enda partneritega telekomi operaatorite poolelt ning leppisime kokku võimalikud kriisikontaktid ja infovahetuse meetodid. Samuti küsisime täiendavat tuge koostööpartneritelt, kes tarnivad meile võrguseadmeid.

Selliste projektide õnnestumiseks on esmane eeldus ikkagi piisav planeerimine ja õpikohaks on tavapäraselt see, et alati võiks ja peaks alustama selle planeerimisega veidi varem, kui see tegelikult juhtub. Ka antud projekti puhul oleksime pidanud alustama planeerimisega mõnevõrra varem, et kõik riskid ja võimalikud maandamismeetmed põhjalikumalt läbi analüüsida.

Suuremad ohukohad olid kindlasti seotud infoturbe teemadega. Paraku ei saa kunagi päris sada protsenti kindel olla, et pahalased ei ole oma projektiga alustanud juba aastaid tagasi ja lihtsalt ootavad õiget hetke, millal enda tegevused aktiveerida. Seetõttu analüüsisime põhjalikult erinevaid võimalikke stsenaariume ning kaardistasime ära nii ennetustegevused kui ka võimalikud reageerimised juhuks, kui õigel päeval midagi peaks juhtuma. Üheks riski maandamise meetmeks oli ka GDC andmekeskusesse n-ö varustaabi tekitamine, et olla võimalikult ligidal enda füüsilisele infrale ning teiselt poolt saaks olla kindel ka elektri ja andmeside olemasolus. Reaalselt seda staapi vaja ei läinud, aga n-ö õppuste stsenaariumi läbimängimiseks oli see meile kindlasti kasulik. Hetkel on olemas täpne teadmine, kuidas vajadusel oma staap kolida teise asukohta ja milliseid tegevusi selleks eelnevalt tegema peab.

Desünk ise toimus meie jaoks märkamatult ja ühtegi küberintsidenti ei olnud. Õpikohaks tuleviku vaates on pigem pikem planeerimine. Antud projekt aitas tähelepanu tõmmata ka täiendavatele rakendamist vajavatele infoturbe meetmetele.