Data-Applicaties ontwikkelen: Wegwijs in het woud der Ops-en

Data-applicaties bieden eindgebruikers snel en interactief toegang tot informatie. Deze apps analyseren grootschalige datasets op de achtergrond met moderne Data Science technologieën, waardoor ze informatie direct kunnen voorzien van context en gebruikers in staat stellen om onmiddellijk actie te ondernemen op basis van deze inzichten. 

Data-applicatie ontwikkeling

Om aan bovenstaande eisen te voldoen, worden data-applicaties steeds vaker ontwikkeld door multidisciplinaire software- , data- en ML- engineering teams. 

In de softwarewereld is er een groeiende trend waarbij softwareontwikkeling (Dev) en applicatiebeheer (Ops) samenkomen. Dit zorgt voor snellere implementatie en continue verbeteringen om hoge kwaliteitsstandaarden te behalen. Deze practices zijn bekend als DevOps. 
Door de jaren heen zijn er variaties op -Ops ontstaan, toegespitst op specifieke ontwikkelingsdomeinen, zoals DataOps, MLOps en AIOps. Maar hoe verhouden deze zich tot elkaar? 

DevOps

DevOps draait om meer dan alleen tools en practices. In de basis gaat het om de cultuur en manier van samenwerken. De belangrijkste aspecten voor DevOps zijn:

• Cultuur:  Bij DevOps is de cultuur van samenwerking, open communicatie, en een bereidheid om verantwoordelijkheid te nemen voor het geheel essentieel voor succes. Daarnaast ook het feedback verzamelen en continue verbeteren.
• CI/CD: Continuous integration (CI) is het proces van het regelmatig integreren van code-wijzigingen in een gedeelde repository, vaak meerdere keren per dag. Dit helpt om met een team samen te werken aan het product en problemen vroegtijdig te identificeren en te corrigeren. Bij Continuous Delivery (CD) wordt de nieuwe software automatisch getest en naar de productieomgeving gedistribueerd. CI/CD is vaak een volledig geautomatiseerd proces zodat snelheid en kwaliteit van nieuwe functionaliteit releasen wordt gegarandeerd.
• Monitoring: Dit omvat het continu bewaken van de applicatie en de infrastructuur om problemen snel te identificeren en op te lossen

DataOps

DataOps past de hierboven beschreven DevOps-principes toe in de wereld van data-analyse en zorgt voor de levenscyclus van hoogwaardige datasets. Deze datasets zijn cruciaal voor data-applicaties. Om kwalitatieve datasets te creëren en hoogwaardig te houden zijn de volgende practices van belang:

• Structureren en integreren: Vaak bestaat een dataset uit meerdere samengestelde, getransformeerde, geaggregeerde basis datasets of brondata.
• Meta data: dit bevordert de vindbaarheid, het gebruik en de governance van de dataset.
• Data kwaliteit: Fouten, gaten of afwijkingen in de data kunnen bij data-applicaties leiden tot foute beslissingen.
• Data governance: Wie mag en heeft toegang tot welke dataset en voldoet de dataset aan de geldende wet- en regelgeving.

MLOps

Data-applicaties hebben steeds vaker een intelligent onderdeel dat, gebaseerd op deze datasets, voorspellingen en adviezen doet. Een voorbeeld is het inschatten van onderhoudsbehoeften van fabrieksonderdelen. Het herkennen van deze patronen in omvangrijke datasets valt onder Data Science en Machine Learning (ML). MLOps is geïntroduceerd om de volledige levenscyclus van ML-modellen, van ontwikkeling tot onderhoud, te faciliteren. De belangrijkste onderdelen binnen MLOps zijn:

• Ontwikkeling: Met data analyse patronen ontdekken en experimenteren om een model te ontwikkelen en te valideren.
• Operationalisatie:  Zorgen dat het model in de productieomgeving beschikbaar is en gebruikt wordt in voor data-applicaties. Maar ook dat eindgebruikers vertrouwen op de uitkomsten en hun beslissingen erop durven nemen.
• Monitoring: In de gaten houden dat het model van de juiste data wordt voorzien, de juiste uitkomsten geeft.
• Actueel houden: Zorgen dat het model blijft aansluiten bij de veranderende werkelijkheid.
• Ethische aspecten: Bevat het model geen vooringenomenheid (bias), kunnen de voorspellingen worden verklaard en welke ethische risicomaatregelen moeten er eventueel genomen worden.

AIOps

Door de groeiende strategische rol van software wordt het IT-landschap steeds uitgebreider, complexer en crucialer. En met data-applicaties die zakelijke beslissingen ondersteunen, wordt dit alleen maar groter. Een IT-fout kan dan ook grote zakelijke gevolgen hebben. Daarom moet IT Operations (Ops) verregaand geautomatiseerd worden, met tools voor snelle en preventieve acties. AIOps houdt zich bezig met monitoring en automatische probleemdetectie, en bouwt voort op DataOps en MLOps, gebruikmakend van data en ML voor IT Operations-optimalisatie. Een goede AIOps-implementatie vereist drie onderdelen:

• Observability: Eerst en vooral moet de AIOps-implementatie observeren. Dit vereist goede monitoring en data in de vorm van statistieken, logboeken, gebeurtenissen en incidenten die in realtime plaatsvinden. Netwerkmonitoring is een voorbeeld dat je helpt eventuele prestatieproblemen te begrijpen.
• Resource optimalisatie: Hoe meer gegevens je hebt, hoe beter je de topologie, de resourcegrafiek of de groepering begrijpt. Met de topologie kunt je het gebruik van bronnen optimaliseren om problemen helemaal te voorkomen of problemen snel te verhelpen. Als je bijvoorbeeld twee VM's heeft die niet genoeg verkeer hebben, kunnen de twee VM's worden geoptimaliseerd tot slechts één VM voor kostenoptimalisatie bij de cloudleverancier.
• Probleembepaling: Met wat je leert van de resultaten van Observability en Resource optimalisatie hulpbronnen, kun je proactief anticiperen op problemen en oplossingen voor problemen automatiseren.

Conclusie

Hoe volwassener een organisatie is met de inzet van slimme data-applicaties hoe meer van de verschillende -Ops practices aanwezig zullen en moeten zijn.  DevOps, DataOps, MLOps en AIOps bouwen op elkaar voort. Visueel kan je dat als volgt weergeven.

Full Orbit & Data-Applicaties

Om succesvol en effectief over te gaan naar een digitale en innovatieve organisatie is er meer nodig dan alleen het ontwikkelen en gebruik van data-applicaties. Bij Full Orbit helpen we organisaties om de digitale transformatie te starten met de juiste kennis, strategie en oplossingen. Dit doen we door middel van een stapsgewijze aanpak die past bij het tempo van de specifieke organisatie. 

Meer weten?

Wil je meer weten over het ontwikkelen van Data-Applicaties? Download dan de whitepaper "Data-applicaties: Succesvol realiseren, beheersen en groeien"