Sedan i natt är bland annat SJ:s, SL:s, Postens och Systembolagets websidor nere, sedan en kabelbrand eller transformatorbrand drabbat colocation-tjänsten Evry. För SJ:s del är det “bara” bokningssystemet, dvs själva kärnan i hela SJ:s verksamhet, som är nere och det ska inte ens gå att beställa eller köpa biljetter per telefon, över disk eller i automat.
Idag är det helgdag, i morgon är det vardag, men Evry kan inte ge något besked om när tjänsterna åter kan fungera.
Evry har för övrigt följande att säga på sin hemsida, min fetstil:
“Etablerade driftsprocesser följer ITIL-principer och EVRY har infört effektiva rutiner som säkerställer att din it-miljö alltid är motståndskraftig mot hot och att all programvara och aktuella säkerhetspatchar uppdateras kontinuerligt.”
All reklam är god reklam, Evry! Bolaget ska för övrigt inte ens att gå att nå för en kommentar enligt TT. Undrar hur det är med supporten? Påminner mig lite om när jag konsultade på Stora Börsbolaget för drygt tio år sedan och en server kraschade med pajade hårddiskar. Backuper var outsourcade till Backupbolaget, som vid telefonsamtal visade sig vara med all personal på kick-off i Medelhavet, och dessutom inte hade verifierat att backuperna fungerade och alltså inte hade tagit de utlovade backuperna. Backupbolaget åkte ut, vet inte ens om de finns kvar längre…
Man ska förstås se detta positivt och ännu ett exempel på hur extremt sårbart vår samhälle är. Det finns många banala flaskhalsar, som kan slå ut grundläggande infrastruktur. I det här fallet åtminstone SJ:s och Postens kärnverksamhet. Kunderna kan varken beställa biljetter eller företagspaket mm. I morgon är det arbetsdag och det kommer kosta, rejält. Företag som SJ och Posten har byggt upp stora delar av sin kundkontakt via hemsidor, som inte ens har någon redundans utan kan slås ut via en “kabelbrand”. En del uppgifter talar om transformatorbrand, något jag skrev om bara för några dagar sedan.
Huruvida SL:s biljettsystem är intakt låter jag vara osagt, men bland annat ska inte de digitala informationstavlorna fungera.
Vilka mer bolag har drabbats än dessa fyra större bolag? Samtliga är partiella eller lokala monopol och kommer klara detta. Det kan vara betydligt värre för småföretag, med konkurrenter…
33 kommentarer
Klåpare, amatörer, inkompetenta krämare!
Har människorna i dessa företags ledningsgrupper ingen självkritik? Jag skulle skämmas som en hund om jag var ansvarig för dylika företeelser. Går ju inte en månad utan att de sitter med en ny svarte Petter på hand.
De får ju rätt bra lön verkar det som.
Lyss till den osynliga handens evangelium! Marknaden löser sådana här saker!
Jupp, hade det varit olönsamt med detta avbrott hade det inte skett. Det skedde enbart därför att det är lönsamt.
Haha.
Kan tilläggas att tydligen telia hade den goda smaken att gå hem i måndags (eller fredags) med certifikat som gick ut vid årsskiftet UTC. Lite bättre rutiner kan man väl förvänta sig av ett etablerat företag…
…dock verkar de ha fixat nytt certifikat nu under dagen – så de har iaf inte varit helt obemannade, men ändå bör man väl se till att ha sånt fixat innan certifikatet går ut?
Vore intressant att veta vilka adresser som certifikatet som gick ut skyddade. Vet nån det?
ITIL – hur man skapar extra byrokrati i flera lager, se Mellanchefsparadoxen för vidare information
http://en.wikipedia.org/wiki/DevOps skall det väl vara numera?
Ska vara ärlig och säga att jag jobbar med ITIL-processer till vardags.
Problemet är nästan aldrig ett ramverk utan hur man implementerar det och hur man hanterar attityd, beteende och kultur. DevOps kommer med mycket bra saker – det finns inte något som säger att DevOps och ITIL inte kan leva tillsammans.
ITIL förtjänar en del skit, främst i hur ramverket har misslyckats med att stödja införande av rutiner. ITIL är också många gånger större än vad DevOps är.
Vi kommer att se fler misslyckade övergångar till DevOps och orsaken är samma problem som ITIL-projekten som fallerar: Styrning av IT. Det är här vi i branchen har den stora utmaningen. Det finns inte någon magisk lösning – man måste jobba hårt om man ska förändra arbetssätt. Det syns väldigt tydligt i kulturen på de företag som jobbar med ITIL och/eller DevOps på ett strukturerat sätt.
Sist kan det tilläggas att det inte alltid är särskilt lätt att anamma DevOps om du inte använder testdriven utveckling till 100% i ett företag. Äldre företag har ofta en massa system som det skulle kosta för mycket att få till en sådan nivå att DevOps fungerar rakt igenom över hela företaget.
http://www.riksrevisionen.se/sv/rapporter/Rapporter/EFF/2011/Statliga-IT-projekt-som-overskrider-budget-/
Det är VD Crister Fritzsons personliga ansvar att SJs biljettsystem har redundant el och nätverk. Klarar han inte av det ska han ha sparken. Allt annat är trams.
Du skojar väl?
Det normala förfarandet med misslyckade och inkompetenta är att det hittas ett nytt toppjobb på regeringskansliet.
Tänkte inte på att det var offentlig verksamhet…
Är det säkert att det rör sig om vi colocation? Då sträcker väl sig evrys ansvar till drift av hallen dvs kyla, ström och nätverk. Om ströme försvinner har man reservkraft och där brukar man ha n+1 i antal. Dvs man kan klara sig utan en dieselmotorer.i så fall är det SJ och posten mfl som ska ansvar för att deras system är dual site, dvs finns distributrade över minst två geografiskt separerade siter
Har jobbat en del med banker och där har man fysisk separerade siter och man testkör varje månad att det går att switcha driften mellan siterna.
Nu vet vi ju inte vad som hänt SJ men det luktar att man satsat allt på ett kort om man inte är uppe ännu.
Evry… Hmm… Har jobbat rätt mycket med dem och om man säger så – jag skulle inte rekommendera dem till mina polare. Men de är säkert jättebilliga konsulter! 😉
SJ verkar inte ens ha fått ut någon info om det hela på sin hemsida.
Jag har en källa att det här inte är det enda på SJ som saknar redundans…
Va menar du att de även skulle ha problem om det kommer löv på spåret
Jag får för närvarande alternerande timeout och "Service Temporarily Unavailable" när jag försöker ladda http://www.sj.se, så något händer trots allt, även om det än så längre är i fel riktning… 🙂
Det viktigaste är att Systembolaget snabbt kommer igång igen.
Ryssen slår ut bokningssystemen, folk blir tvungna att spendera mer tid med sina utvigade familjer som man lessnat på sen länge… sen går d inte att få tag på sprit. Katastrofen och samhällskollapsen är här.
Du glömde morgonkaffet. Tänk dig vad som händer när miljoner svenskar inte får tillgång till morgonkaffet….
Den här kommentaren har tagits bort av skribenten.
..förlåt, jag glömde morgonlatten såklart.
Morgonlatten är lättare att slå ut än den hederliga plasttratten och melittafiltret.
Den lede fi har kartlagt oss i decennier, känner till våra svagheter och kommer utnyttja dem till max. Aggressiva horder av lattedepraverade pappalediga zombies kommer dra fram i städerna.
Var på bio på söder nyss SLs infoskyltar visade rätt tid men var i övrigt svarta. Åkte i bil så personligen var jag inte störd. Såg att SJ hoppas på att det ordnar sig i morgon.
Vänliga hälsningar
Nanotec
Jag kan meddela att det ej heller går att nå SJ's kundtjänst.
SL's hemsida verkar meddela nu att reseplaneraren är igång. Däremot varnas fortfarande för den mobila sajten. Rimligen betyder det att apparna inte heller är helt hundra.
Däremot har jag märkt att resrobotappen fungerar bra.
Många datakunniga här.
Vad jag förstår lagras mina bankskulder numer digitalt. Går det att slå ut dessa servrar så jag blir skuldfri?
Slås hela posten och SJ system ut utan avsikt kan man göra väsentligt mer skada med avsikt och kompetens.
Ett rån på några hundra miljoner är fågelskit om man lyckades göra 1000 villaägare skuldfria.
Det finns förmodligen flera nivåer med säkerhet och redundans (t.ex. geografisk), både på data och tillgänglighet. Men för att lyckas med en sån operation som du föreslår behöver du nog bli dataguru, och då tjänar du redan så bra att du inte behöver "slå ut" något.
@Riga
Problemet där är ju att bokföringen skall vara lite bättre säkrad. Skulle inte förvåna mig ifall de har papperskopior på alla transaktioner. Skulle de behöva gå igenom bokföringen för att reda ut vem som är skyldig banken pengar så har de ju flera år på sig innan skulden preskriberas.
Ett sånt scenario skulle dessutom bli extra intressant eftersom det är samma ställe som information om vad folk har för banktillgodohavanden finns – problem med tredje part är ganska dålig ursäkt när det gäller att betala sina skulder (så att ha pengarna på en bank och lånen på en annan kan vara en dålig ide). Som bonus så är det samma information som ligger till grund för insättningsgarantin. Jag antar att det är en ganska liten andel av befolkningen som kan styrka hur mycket pengar de har på banken.
Jag reser rätt mycket tåg och SJ gör en alltid besviken när det gäller deras hemsida och deras system. Om jag i mitt arbete gjorde sådana gränssnitt så de har i biljettautomaterna på stationerna så skulle jag rätt snart få vattna blommorna.
Och nu idag skulle jag beställa biljett. OM inte jag läst Cornu så fanns det ingen information alls på hemsidan om problemen. Det var det vanliga "tjafset" om upplevelser att åka till Stockholm för teaterbesök. Däremot stod det under fliken "Trafikinformation" att det var omöjligt att köpa biljett annat än på tåget.
Jamen, herregud; det skall väl "flashas" info om detta på första sidan när man kommer in på Sj.se !
Jag beställde en ny förstärkare från elgiganten igår kväll. Pga av EVRY kommer jag säkerligen inte få den på fredag som det var planerat =(
Även CSN verkar vara drabbat, deras "Mina sidor" ligger nere.
Att döma av följande pressmeddelande från Evrys hemsida (juni 2009) har CSN Evry som leverantör:
"Genom upphandlingen kommer CSN att sänka sina kostnader för IT-drift.
'IT-driften är lika viktig för våra externa kunder som för vårt egna interna arbete. Nu får vi ett avtal som säkrar den långsiktiga driften av våra system', säger Hans Rutqvist avdelningschef vid CSN."
Hum, undrar om pengarna går upp i rök om man gör en avbetalning på studielånet nu?