“Onze eindgebruikers – burgers én medewerkers – werden in het verleden regelmatig geplaagd door grote storingen en trage applicaties. Dat laatste betekent bijvoorbeeld dat medewerkers bij de aanvraag van een nieuw paspoort moesten wachten op een scherm dat langzaam werd opgebouwd met informatie. Een langere afhandeltijd aan de balie is vervelend voor burgers en medewerkers,” aldus René de Vos, verantwoordelijk voor de control room binnen de IT-organisatie van gemeente Den Haag. 

“Vaak draaiden de losse applicaties wel volgens de SLA’s, maar ontstond in de keten een optelsom van langere responstijden”, aldus De Vos. De problemen hadden uiteenlopende oorzaken: denk aan zware queries die op onhandige momenten werden gedraaid, servers die te zwaar belast werden door een hoger aantal gebruikers dan vooraf begroot of applicaties die niet optimaal functioneren door suboptimale code. 

Objectieve meting nodig

Gemeente Den Haag heeft in 2015 een uitvraag in de markt gedaan om te kijken wat de oplossing zou zijn voor inzicht in de performance. De Vos: ​“Hoe kun je objectief vaststellen wat er gebeurt in de IT-omgeving? Zo zijn we in 2015 bij het toenmalige Ymor terecht gekomen, de leverancier van Ymonitor, een klant-en-klaar product om gegevens over performance en beschikbaarheid te verzamelen.” 

“Bij performance wordt vaak gedacht in silo’s waarbij de onderlinge afhankelijkheden als gevolg van ketenprocessen, niet worden meegenomen. Ymonitor werkt met behulp van fictieve (gesimuleerde) eindgebruikers. Ze voeren alle handelingen binnen een bepaald proces uit, zoals een echte eindgebruiker dat ook zou doen. Dit proces bestaat uit zogenaamde ​‘synthetische transacties’ en wordt ieder kwartier doorlopen door de test user. De testgebruiker doorloopt de stappen en aan het eind van het proces gooien we alle bestanden en informatie weer weg. Het is in feite een omgekeerde vorm van RPA, waarbij een ​‘robot’ de handelingen van een medewerker imiteert tot op het niveau van toetsaanslagen en muisclicks. Alleen het doel is anders: waar het bij RPA gaat om het automatiseren van handelingen om tot output te komen, gaat het bij de monitoring uitsluitend om het meten van de verwerkingstijd”, aldus de Vos. 

Resultaten

Met behulp van Ymonitor meet de control room nu meer dan 30 applicatieketens, waarbij is gekozen voor de meest belangrijke processen. De robots draaiden in eerste instantie letterlijk op kantoorlocaties van de gemeente; nu draaien ze centraal in het eigen datacenter en op SaaS-applicaties. Iedere robot meet gemiddeld 7,3 ketens. In totaal leidt dat tot 173.000 metingen per dag.

Daarmee beschikt de control room van gemeente Den Haag over een structurele monitoring oplossing. 

“Er rollen zelden P1’s uit, meestal gaat het om zo’n 180 alerts per dag die wijzen op een event. Bij een major incident wordt alles in het werk gesteld om die zo snel mogelijk op te lossen. Applicaties waar structureel events uit komen, vergen nader onderzoek. Gaat het om belasting door onhandig gebruik – denk aan die zware query overdag – of is er echt structureel tekort aan servercapaciteit? Ook kijken we naar de effecten van nieuwe releases. Als de performance terugloopt, is de reactie hierbij vaak ​‘meer CPU’ of ​‘meer memory’, terwijl het probleem ook ergens anders kan zitten: bijvoorbeeld in de applicatie of in gebruiksintensiteit. En tot slot, en dat is een van de belangrijkste eigenschappen van de monitoring, kun je klachten beter duiden en terugkoppelen, eenvoudigweg omdat je de performance kunt objectiveren en niet meer afhankelijk bent van subjectieve percepties.”

Managen van applicaties

Als een applicatie niet goed functioneert, gaat de IT-organisatie in overleg met de leverancier. ​“Aan de hand van onze objectieve gegevens kunnen we laten zien wat de eindgebruiker ervaart en bij welke stap in het proces er iets misgaat. In ernstige gevallen kunnen we het advies geven aan de IT-organisatie en de business om met een bepaalde applicatie te stoppen. Bijvoorbeeld omdat een product end-of-life is, maar voor sommige applicaties in gemeenteland geldt echter dat ze tamelijk uniek zijn en dus lastig vervangbaar. Gemeente Den Haag verzorgt namelijk ook een aantal processen voor burgers uit heel Nederland die met landelijk beleid te maken hebben – denk aan het erkennen van een huwelijk dat elders gesloten is,” aldus De Vos. 

Bruggen slaan tussen business en IT

De control room slaat bruggen tussen eindgebruikers, de IT-organisatie en toeleveranciers. Dat betekent dat er zowel technische knowhow als empathie aan boord moet zijn: je moet je kunnen verplaatsen in de wereld van de medewerker en van de burger. Ook managers van diensten zijn over het algemeen geen IT’ers. Binnen het team van de control room zijn alle nodige competenties aan boord, iets waar Sentia haar stempel op heeft gedrukt. Sentia – dat in september 2019 Ymor heeft overgenomen – heeft bijvoorbeeld best-practices gedeeld met gemeente Den Haag. De Vos licht toe: ​“Bijvoorbeeld op het vlak van rapportages en het aangaan van de dialoog. We moeten de taal van zowel business als IT spreken en begrijpen wat er gebeurt als systemen aan de balie traag draaien.” 

Predictive maintenance

De control room staat inmiddels symbool voor de verbeterslag die gemaakt is en wordt vaak door collega-gemeentes bezocht ter inspiratie. Ondertussen werkt gemeente Den Haag samen met Sentia verder aan de ontwikkeling van de control room. ​“Naast het beheer en onderhoud van de synthetische transacties is Sentia ook nauw betrokken bij het optuigen van nieuwe ketens die we willen meten. Sentia ontwikkelt hiervoor de nieuwe synthetische transacties. Daarnaast werkt gemeente Den haag samen met Sentia aan de volgende stap: waar eerst de omslag van reactief naar proactief beheer gemaakt is, wordt nu gewerkt aan preventief beheer. ​“Hiervoor wordt een IT Operation Analytics (ITOA) omgeving ingericht, waarbij op componentniveau meetgegevens worden verzameld. Sentia zorgt voor de configuratie van Splunk IT service intelligence (ITSI), de oplossing die deze gegevens met behulp van AI analyseert. Splunk ITSI zou in specifieke situaties tot 20 minuten van tevoren moeten kunnen voorspellen dat er een event aankomt,” aldus De Vos. 

Hiermee kom je op het terrein van predictive management: ingrijpen voordat het mis gaat. Dat kan je ook inzetten bij het nemen van beslissingen bij change- en releasemanagement. Sentia implementeert tevens endpoint-monitoring, naast synthetische monitoring een ander onderdeel van Digital Experience Monitoring. Bij dat laatste gaat het om het monitoren van de devices zoals PC’s, servers, smartphones maar ook om virtual machines of gateways naar cloudopslag.

Ook monitoren in de cloud 

Gemeente Den Haag had vrijwel alle IT in eigen beheer, iets wat nu aan het veranderen is. Het monitoren van het applicatielandschap is ook een goede eerste stap als het gaat om het opstarten van een applicatierationalisatie-programma. Daarvoor is inzicht nodig in de werking en het gebruik van applicaties. Hoe functioneren ze, wat kosten ze en in welke mate zijn applicaties te combineren of uit te zetten? ​“Op de lange termijn zal een steeds groter deel van de gemeentelijke IT richting de cloud gaan,” aldus De Vos. ​”Ook hier kan de robot gaan meten hoe de applicaties op platformen zoals Oracle en Azure draaien. Het ideaal is dat er een robot meet in het datacenter van de leverancier.”