Goede AI alleen met goede data
Het AI-volwassenheidsmodel en hoe bouw je een solide data-architectuur?
In de wereld van kunstmatige intelligentie (AI) heerst een misvatting. Velen denken dat de kracht van AI enkel in de complexiteit van algoritmes ligt. Maar zonder een stevige basis van goede data-architectuur, is zelfs de meest geavanceerde AI niet veel meer dan een kaartenhuis. Het stort in bij de minste tegenslag. Hoe zorg je ervoor dat jouw organisatie klaar is voor de AI van vandaag én morgen?
Bij DigiBeter richten we ons op voorbereiding en ontwikkeling. We bieden AI-trainingen aan en ondersteunen bij het onderzoeken en optimaliseren van organisatieprocessen en data. Ook richten we ons op innovatie met technologieën zoals generatieve AI. Onze trainingen AI trainingen behandelen doorgaans de kansen, mogelijkheden, risico’s en ethische aspecten van Generatieve AI maar een ander belangrijk focuspunt is data. Welke data heb je, waar heb je die, waarom heb je die, wat is de kwaliteit en wat kan je er allemaal mee?
Je kunt veel zelf doen. Daarom duiken we vandaag dieper in het hart van AI met een stuk over data. We verkennen hoe een solide data-architectuur cruciaal is voor succesvolle AI-initiatieven. Dit doen we geïnspireerd door het AI-Volwassenheidsmodel. Dit model schetst de groeistadia van AI-capaciteiten binnen organisaties, met veel aandacht voor data. We leggen de link tussen een goed geplande data-architectuur en de stappen naar AI-volwassenheid. Hierbij belichten we de essentiële elementen voor een AI-gedreven toekomst.
Deze verbindingen tussen het AI-volwassenheidsmodel en de principes van een solide data-architectuur bieden eerste praktische inzichten voor in jouw organisatie wanneer je aan de slag wilt met het versterken en ontwikkelen van jullie AI-capaciteiten. Het benadrukt het belang van een strategische aanpak, inzichten en de noodzaak van een sterke samenwerking tussen business en IT.
Hoewel Data in het eerste niveau van het AI-Volwassenheidsmodel niet expliciet wordt benadrukt, is het belang ervan geen zins te onderschatten. Een effectieve en krachtige AI is voor de werking namelijk sterk afhankelijk van de kwaliteit van de trainingsdata. Het belang van dit fundament nemen we uiteraard mee in de basisinzichten van de trainingen.
In de beginfase ligt de focus vooral op het begrijpen van wat AI is en hoe het kan worden ingezet. Desondanks is het in deze fase wel van belang om te snappen hoe en welke cruciale rol data speelt. De generatieve AI-modellen, die we gebruiken en bespreken zijn getraind op enorme datasets. Deze datasets vormen de basis waarop deze modellen leren en functioneren. Zonder een rijke en gevarieerde dataset zouden deze modellen niet in staat zijn om accurate en nuttige output te genereren. Het is belangrijk om te begrijpen dat de kwaliteit van de output van een AI-model direct gerelateerd is aan de kwaliteit van de inputdata.
Bias in trainingsdata kan leiden tot vooroordelen in AI-systemen, met potentieel nare gevolgen. Dit maakt het cruciaal om mogelijke bias te kunnen herkennen en te minimaliseren. Zo ontwikkelen we eerlijkere en objectievere AI-systemen. Een ander aandachtspunt is het fenomeen van 'hallucineren' in AI. Hoewel de term 'hallucineren' misschien misleidend is – AI 'ziet' immers niets – wordt deze term vaak gebruikt. Hallucineren treedt op wanneer AI-modellen onjuiste of ongegronde volgende berekenen op basis van de beschikbare data. Dit benadrukt het belang van zowel de hoeveelheid als de kwaliteit van de trainingsdata.
Ook het belang van privacy, informatieveiligheidsrisico’s en ethiek mogen niet over het hoofd worden gezien. Met de toenemende hoeveelheid data die gebruikt wordt voor AI, vaak getraind op online beschikbare en mogelijk privacygevoelige data en de data waarmee wij de modellen vrijwillig voeden voor onze antwoorden is het essentieel om het juiste gesprek te voeren. Dit gesprek gaat niet over het klakkeloos uitsluiten, maar over het weloverwogen gebruik van bepaalde modellen en/of het zelf trainen van modellen. In onze samenwerking bespreken we hoe jouw organisatie aandacht kan besteden aan privacy- en veiligheidsvraagstukken, maar ook aan ethische risico’s en regelgeving.
Niveau 2
Alles samen van niveau 1 vormt de eerste basis voor het succesvol toepassen van AI in elke fase van het volwassenheidsmodel. In de reis naar AI-volwassenheid is niveau 2 nog een zeer belangrijke fase omdat hier jouw organisatie de basis legt voor geavanceerde data-analyse en AI-toepassingen en het verder bouwen naar de volgende volwassenheidsfasen.
Niveau 2 draait om het ontwikkelen van datamanagement en inzichten in processen en beschikbare data, architectuur, procesverbeteringsplannen en het uitvoeren van data audits. Het vereist procesbewustzijn en een systematische aanpak van dataverzameling en -analyse, voorbereiding, collectie, opslag, registratie en het gebruik van datamanagement software waar van toepassing. Daarnaast begint in deze fase op basis van ontstane inzichten het meer bewuste nadenken over mogelijk aanvullende aanvullende informatie. Het is daarom ook hier belangrijk kennis en bewustzijn van medewerkers te vergroten door onder andere opleidingen en trainingen.
Belangrijke aspecten om niveau 2 te bereiken zijn
Ontwikkelen van Datamanagement en Procesinzichten:
Analyseren en verbeteren van bestaande processen.
Uitvoeren van data-audits om te begrijpen welke data beschikbaar is en hoe deze kan worden geoptimaliseerd.
Rol van Datakwaliteit en Governance:
Zorgen voor hoge datakwaliteit door validatie, reiniging en verrijking van data.
Implementeren van data governance-beleid voor consistentie, standaardisatie, en compliance.
Bewustwording en Training:
Vergroten van kennis en bewustzijn bij medewerkers over het belang en gebruik van data.
Het begint dus allemaal met weten wat je hebt en het doel: waar heb je welke data en wat wil je bereiken met de data? Je verzamelt data tenslotte niet om het verzamelen toch? Kortom doelbinding!
Zonder een duidelijk doel, is het moeilijk te bepalen welke data verzameld moet worden, waarom en of bepaalde data misschien voor handen is en hoe deze geanalyseerd en gebruikt zal worden. Om uit te vinden of bepaalde data misschien al voor handen is, is het in dit stadium ook belangrijk om inzicht te hebben in de eigen processen en processen van andere teams, afdelingen, directies etc. en welke data daarin omgaat. Heb je bijvoorbeeld wel eens gehoord van datamodellen?
Wat is een goede data-architectuur?
Een goede data-architectuur in het kader omvat:
Efficiëntie en Toegankelijkheid: Zorgen dat de juiste data snel en eenvoudig beschikbaar is voor degenen die het nodig hebben.
Betrouwbare Datakwaliteit: Hoge nauwkeurigheid en betrouwbaarheid van data om effectieve AI-analyses en besluitvorming te ondersteunen.
Schaalbaarheid en Flexibiliteit: Het vermogen van de data-architectuur om mee te groeien met de organisatie en zich aan te passen aan veranderende behoeften.
Veiligheid en Compliance: Sterke bescherming van data en naleving van alle relevante wet- en regelgeving.
Gebruikersgerichtheid: Toegankelijkheid voor diverse gebruikersgroepen binnen de organisatie, met passende tools en interfaces.
Integratie van goede data-architectuur
Datamanagement Tools en Technologie: Keuze van passende tools om data te verzamelen, op te slaan en te analyseren.
Procesoptimalisatie: Gebruik van data om bestaande bedrijfsprocessen te verbeteren en efficiënter te maken.
Governance en Beleid: Ontwikkelen van duidelijke richtlijnen en beleid rondom datagebruik, -veiligheid, en -privacy.
Training en Bewustwording: Zorg voor continue opleiding en training van medewerkers om datavaardigheden te ontwikkelen en te onderhouden.
Governance, strategie en beleid zijn in het realiseren en integreren van data-architectuur heel belangrijk. Dit gaat onder meer over wat je wel en niet mag doen in de zin van het collecteren en werken met de data die je hebt. Hoe moet je de data bewaren en mag je het verwerken? Het is direct gerelateerd aan procesinzicht, procesbewustzijn, dataverzameling en data-analyse. Zonder goede governance, strategie en beleid kan je als organisatie je niet zeker zijn van de kwaliteit en integriteit jouw data. En die zekerheid is essentieel voor het voorbereiden van data voor AI-toepassingen. Zo kan het een raamwerk bieden voor hoe data wordt verzameld, beheerd, gebruikt en beschermd. Denk aan:
Consistentie en Standaardisatie: Governance, strategie en beleid zorgen voor duidelijke richtlijnen en procedures voor het verzamelen, labelen en verwerken van data. Deze helpen om consistentie te waarborgen in hoe data wordt ingevoerd, opgeslagen en onderhouden. Dit is weer cruciaal voor AI-systemen omdat die voor een belangrijk deel afhankelijk zijn van gestandaardiseerde data daar waar het gaat om het uitvoeren van nauwkeurige analyses.
Datakwaliteit: Governance, strategie en beleid helpen hier bij het vaststellen van processen voor datakwaliteitsmanagement, inclusief validatie, reiniging en verrijking van data. AI-modellen zijn zo goed als de data waarmee ze gevoed worden (garbage in = garbage out). Zonder een hoogwaardige datakwaliteit kan een AI-systeem onjuiste patronen leren en onbetrouwbare resultaten leveren.
Compliance en Regelgeving: Met de almaar groeiende regelgeving rondom data zoals de GDPR, is het belangrijk dat jouw organisatie voldoet aan wettelijke vereisten. Maar denk ook aan compliance met bijvoorbeeld ethische eisen. Dit alles zorgt ervoor dat data legaal en volgens organisatie eisen wordt verzameld en gebruikt en dat de privacy van individuen wordt beschermd.
Beveiliging: Governance, strategie en beleid omvatten ook het opstellen van richtlijnen rondom informatieveiligheid zoals beveiligingsprotocollen om te voorkomen dat data wordt blootgesteld aan ongeautoriseerde toegang of cyberaanvallen. Dit is essentieel om de integriteit van data te behouden en het vertrouwen van jullie stakeholders te waarborgen.
Verantwoordelijkheid en Transparantie: Een goede governance, strategie en beleid stellen werken ook bij het vaststellen van duidelijke verantwoordelijkheden voor datastewardship en zorgen voor transparantie in het gebruik van data, de uitkomsten en afhankelijk van de situatie ook de gebruikte algoritmen. Dit helpt onder andere weer bij het opsporen van fouten of inconsistenties in data en bij het verantwoorden van beslissingen die genomen zijn op basis van data-analyse en kan bijvoorbeeld ook bijdragen aan het vertrouwen in een eerlijke behandeling vanuit stakeholders.
Duurzaamheid: Governance, strategie en beleid kunnen ook bijdragen aan een duurzaam datamanagementbeleid dat meegroeit met de organisatie. Je let niet alleen op de impact, belasting van de data en zich aanpast aan veranderende omstandigheden, wat de levensduur van AI-systemen ten goede komt. Maar ook bijvoorbeeld archivering- en vernietigingseisen.
En dan is er natuurlijk het organisatorische aspect: hoe organiseer je jouw teams? Dit is verbonden met alle aspecten van niveau 2 van het AI-volwassenheidsmodel. Dit organiseren is geen alledaags bezigheid en zeker geen IT-feestje. Gelukkig is het, wanneer je het handig aanpakt, een eenmalige inzicht- en schoningsactie waarna het alleen nog een kwestie van bijhouden is. Een actie die samenwerking vereist tussen verschillende disciplines vanuit de business en IT binnen jouw organisatie. Rollen waaraan je dan kan denken om samen met jouw business team mee samen te werken zijn: (data)-architecten, informatie beveiligingsspecialisten, privacy specialisten, business informatiemanagers, informatie huishouding specialisten en proces eigenaren, data eigenaren en dergelijke. Schrik niet van de vele rollen, het gaat hier vooral om de juiste mensen op het juiste moment te betrekken en ze zijn lang niet altijd allemaal nodig. Als je eenmaal alles netjes bij elkaar hebt is het daarna slechts een kwestie van bijhouden.
Hier komt de technologie: welke tools ga je gebruiken om je te helpen bij de inventarisatie, registratie en het bijhouden? Wat hebben jullie al in huis? Goede systemen helpen en ondersteunen in het proces maar zijn ook relevant voor bijvoorbeeld snelle en goede data audits.
Het verbinden van deze aspecten van een goede data-architectuur met de stappen van niveau 2 van het AI-volwassenheidsmodel, helpen jouw organisatie het stevige fundament te leggen voor jullie AI-initiatieven. Het zal jullie niet alleen helpen om de huidige data-uitdagingen aan te gaan, maar ook om je voor te bereiden op de toekomst.
Wanneer dit allemaal gereed is ben je ver klaar voor de volgende stap naar niveau 3 van het AI volwassenheidsmodel. Voor deze nieuwsbrief ook tevens het laatste te bespreken niveau mede om te voorkomen dat het teveel leeswerk wordt.
Niveau 3
Dit niveau draait onder meer om de versteviging van de implementatie van datakwaliteitsbeheer en procesmanagement, procesoptimalisatie, passende training en opleidingen en het gebruik van geavanceerde datamanagement tools en analytics. De aanpak onderstreept het belang van een holistische benadering, waarbij zowel de technische als de organisatorische aspecten van datamanagement binnen de AI volwassenheid verder worden aangepakt.
Hoe vloeien deze aspecten van niveau 3 van het AI-volwassenheidsmodel dan samen met de kerncomponenten van een goede data-architectuur?
Implementatie van Datakwaliteitsbeheer: Dit is de ruggengraat van elke effectieve data-architectuur. Op niveau 2 heb je (al je) bedrijfsprocessen en data in je organisatie in kaart gebracht. Je hebt op basis van beleid de weging eraan gekoppeld zodat je goed zicht kan houden op de kwaliteit. Het is voor het succes van AI-projecten essentieel om de kwaliteit van data voortdurend te monitoren door hier bijvoorbeeld datakwaliteit dashboards op in te richten.
Je wilt niet alleen de inputkwaliteit maar ook de outputkwaliteit meten. Dit is mede ter voorbereiding op niveau 4.Input informatie van de goede kwaliteit gebruikt om je bijvoorbeeld weer om trainingsmodellen aan te scherpen en kwaliteit van output gebruik je bijvoorbeeld weer om prompts beter te engineeren en aan te kunnen tonen dat je in control bent. Het sluit hiermee naadloos aan bij het niveau 3 van het AI-volwassenheidsmodel, waar de focus ligt op kwaliteitsbeheer met door o.a. het waarborgen van data-integriteit en -nauwkeurigheid.
Trainingen en consultancy ondersteuning in onder andere Datamanagement, Procesmanagement en promptengineering: Dit is van belang om teams te voorzien blijven voorzien van de kennis en vaardigheden die nodig zijn om effectief met data te werken en mee te kunnen bewegen in de snelle ontwikkelingen rondom AI. Dit aspect van niveau 3 weerspiegelt de organisatorische dimensie van data-architectuur. Het is hier om een cultuur van datavaardigheid en -bewustzijn binnen de organisatie te onderhouden en kennis en kunde te scherpen en zorgen dat medewerkers blijvend mee kunnen in de snelle innovaties.
Geavanceerde Datamanagement Tools en Analytics: Het gebruik van de juiste tools en technologieën is een sleutelaspect van een goede data-architectuur en het creëren van goede business intelligence. Deze tools stellen jouw organisatie in staat om data efficiënt te verzamelen, op te slaan, te verwerken en te analyseren.
Het komen tot volwassenheidsniveau 3 in het AI-model zorgt niet alleen voor een sterke fundering in het heden, maar bereidt jouw organisatie ook voor op toekomstige groei en ontwikkeling in de wereld van AI.
Kan AI mij niet helpen?
Ter afsluiting van onze verkenning in de wereld van AI en data-architectuur, willen we ons op een toekomstgerichte benadering waarbij kunstmatige intelligentie een essentiële rol speelt in het automatiseren en verbeteren van data-architectuurprocessen. AI is niet alleen het einddoel; het is ook een krachtig middel om ons daar te krijgen. Gisteren kreeg onze directeur in een college de vraag, “Kan technologie zoals AI ons niet helpen met de data-kwaliteit?”. Het korte antwoord was ja dat kan tot op zekere hoogte. Een iets langer antwoord vind je hier.
In de verkenning van AI en data-architectuur hebben we vertelt dat de kracht van AI niet alleen zit in de complexiteit van algoritmes, maar ook in het efficiënt navigeren door en benutten van data. Nu hebben we niet alleen toekomstige data maar zitten we ook al op hele ’databergen’. En een Hike is leuk maar dan wel liefst met goede navigatie zodat je niet verdwaalt. Die soms nog ongestructureerde, rauwe bergen vormen zowel een uitdaging als een onbenut potentieel.
Door AI toe te passen voor het voorspellen van datakwaliteitsproblemen en het automatiseren van datamanagementtaken, kunnen we een meer proactieve en efficiënte benadering hanteren. Dit leidt tot een datalandschap dat niet alleen rijker en nauwkeuriger is, maar ook dynamischer en adaptiever.
Omgaan met Bestaande Databergen:
Vindbaarheid (Findable): AI-technologieën kunnen een rol spelen in het snel analyseren en categoriseren van grote databergen, waardoor deze data eenvoudiger te vinden en te benaderen is.
Toegankelijkheid (Accessible): Door AI in te zetten voor het verbeteren van data-integratie, kunnen gefragmenteerde datasets niet alleen samenhangender worden, maar ook toegankelijker voor verschillende gebruikers en systemen. Maar je kan AI bijvoorbeeld ook indenken in het proces om toegangscontroles en -protocollen te verbeteren zodat data veilig en op gestandaardiseerde manier toegankelijk is.
Interoperabiliteit (Interoperable): AI kan ondersteunen de interoperabiliteit door patronen en relaties in historische data te identificeren. Hierdoor kunnen verschillende datasets eenvoudiger met elkaar communiceren en samenwerken wat weer essentieel is voor uitgebreide analyses.
Herbruikbaarheid (Reusable): De inzet van AI bij data-analyse en -opschoning kan zorgen voor schonere en gestructureerde data. Denk hierbij aan het standaardiseren van dataformaten en -structuren wat de herbruikbaarheid voor toekomstige toepassingen verbetert.
Toekomstgerichte AI-Toepassingen:
Automatisering en Vindbaarheid: AI-technologieën kunnen worden toegepast om geautomatiseerde systemen te creëren die data op een vindbare manier organiseren en catalogiseren. Door automatisering van datamanagementtaken door AI kan data niet alleen efficiënter beheerbaar gemaakt worden, maar waardoor het dus ook eenvoudiger vindbaar en toegankelijk wordt.
Voorspellen van Datakwaliteitsproblemen (Accessible en Interoperable): AI kan toekomstige datakwaliteitsproblemen identificeren, door bijvoorbeeld analyses van data gerelateerde tickets in incident management systemen. Hierbij kan je denken aan tickets over gewenste data-aanpassingen, verstoringen maar bijvoorbeeld ook met betrekking tot toegankelijkheid. Het ontwikkelen van AI-modellen die rekening houden met onder andere toegankelijkheidsnormen, kan de bruikbaarheid van data behoorlijk verhogen.
Verbetering van Data-Integriteit (Reusable): Door de validatie en verificatie van data te verbeteren, draagt AI bij aan het creëren van betrouwbare en daarmee herbruikbare data. Daarnaast is het ook wenselijk te kijken naar bijvoorbeeld de herbruikbaarheid van de AI-Output. Het verzekeren dat de output van AI-systemen gestandaardiseerd en herbruikbaar is, vergroot de waarde van AI-initiatieven.
Compliance en Regelgeving:
Zowel in het beheren van bestaande data als in het vooruitzien naar toekomstige data-analyse, speelt AI een sleutelrol in het waarborgen van naleving van regelgeving zoals GDPR.
Door deze AI-gedreven benaderingen te integreren in met data-architectuur, kan jouw organisatie de fundamenten leggen voor robuustere en intelligentere AI-systemen. Dit versterkt niet alleen de AI-capaciteiten van je organisatie maar zorgt ook voor een data-ecosysteem dat veerkrachtiger en toekomstbestendiger is.
Bij DigiBeter zijn we toegewijd aan het ondersteunen van organisaties in deze reis naar AI-volwassenheid. Wij geloven dat goede data, verrijkt met de slimme toepassing van AI, de sleutel is tot het ontsluiten van het volledige potentieel van kunstmatige intelligentie. Samen met jou bouwen we aan een toekomst waarin data en AI hand in hand gaan om innovatie, groei en duurzaam succes te stimuleren.