Synthetische data kan er goed uitzien en toch falen
Het evaluatierapport is gemaakt om alle drie te vangen.
Het lijkt op de echte data, maar geeft andere resultaten
Kolom voor kolom komt het overeen met de echte data, maar de verbanden tussen kolommen kloppen niet. Analyses en modellen die erop bouwen, komen tot andere uitkomsten.
Het spiegelt de echte data, maar laat restrisico achter
Het model heeft zeldzame records onthouden, en een aanvaller kan details afleiden over de mensen waarvan het leerde.
Het lijkt veilig, maar er is geen bewijs om te tekenen
Je organisatie beslist of de data als anoniem geldt en moet laten zien hoe ze daartoe kwam. Zonder vastgelegd bewijs kan niemand het delen goedkeuren.
Elke check beantwoordt een andere vraag, en slaagt of faalt op zichzelf
Het rapport wordt automatisch bij elke dataset gemaakt en vergelijkt de synthetische data met de echte data, binnen je eigen omgeving. Een sterke score op de ene check kan een zwakke score op de andere niet verbergen.
Controleer of het lijkt op de echte data en alles dekt
- Precision en recall: synthetische records liggen dicht bij de echte en dekken ze allemaal, ook randgevallen
- Onderscheidbaarheid: of een model synthetische records van echte kan onderscheiden
- Univariate en multivariate gelijkenis, ontbrekende waarden inbegrepen
Bewijs dat het werkt voor jouw taak
- Train op echte en op synthetische data, en test beide op echte holdout-data
- Feature importance van beide modellen naast elkaar vergeleken
- Domeinspecifieke evaluaties, zoals een overlevingsanalyse met een Kaplan-Meier-curve en een hazard-ratiotabel
Laat zien dat het veilig is voor de mensen in de data
- Drie aanvallen uit de conceptrichtlijnen van de EDPB uit 2026: uitlichten van personen, koppelbaarheid en afleidbaarheid
- Elke aanval draait ook op een controlegroep, zodat alleen echt lekken als risico telt
- Twee eigen checks op kopiëren: exacte duplicaten en afstand tot dichtstbijzijnde buur
Privacy meten we door de data aan te vallen
Elke aanval draait twee keer
Eén keer op de mensen van wie de records het model hebben getraind, en één keer op een controlegroep van echte mensen die het nooit heeft gezien. Evenveel succes betekent dat de aanval alleen patronen vond die voor de hele populatie gelden. Extra succes op de trainingsgroep is lekken, en dat verschil is het restrisico.
- Geslaagd bij minder dan 9 extra geslaagde aanvallen op 100 dan bij de controlegroep, dezelfde grens die het Europees Geneesmiddelenbureau hanteert voor gepubliceerde data uit klinische studies
- De aanvallen volgen de conceptrichtlijnen van de EDPB uit 2026
- De brondata blijft binnen je eigen infrastructuur: de evaluatie draait waar BlueGen ook is geïnstalleerd
Of synthetische data veilig te delen is, hangt af van wie het ontvangt
Dezelfde dataset kan veilig zijn voor een onderzoekspartner en toch tekortschieten voor openbare publicatie. Het rapport beoordeelt elke privacy-evaluatie tegen de lat voor jouw doelgroep.
| Check | Wat het detecteert | Geslaagd als |
|---|---|---|
| Exact duplicates | Echte records die in de synthetische data zijn gekopieerd, ook bijna-identieke | Geen in de vrijgegeven dataset |
| Nearest neighbour distance ratio | Synthetische records die opvallend dicht bij echte mensen liggen | Geen significante verschuiving richting echte records |
| Singling out | Eén echt persoon kan worden geïsoleerd | Minder dan 9 extra geslaagde aanvallen op 100 dan bij de controlegroep |
| Linkability | Twee datasets over één persoon kunnen via de synthetische data worden gekoppeld | Minder dan 9 extra geslaagde aanvallen op 100 dan bij de controlegroep |
| Inference | Een gevoelig kenmerk van één persoon kan worden afgeleid | Minder dan 9 extra geslaagde aanvallen op 100 dan bij de controlegroep |
Een voorbeeld: een aanval die 6 keer op 100 slaagt bij de mensen die het model hebben getraind en één keer bij de controlegroep, heeft een verschil van 5 en is dus geslaagd. Eerst draaien de checks op duplicaten en afstand, daarna de drie aanvallen. De EDPB-criteria gaan niet over kopiëren, dus die twee checks zijn van BlueGen zelf.
Als een check aanslaat
Het rapport noemt de test en de reden. BlueGen filtert dan de duplicaten of verhoogt de privacy-instelling, genereert de data opnieuw en draait de evaluatie nog een keer. Tot die tijd kun je een gedeeltelijk geslaagde dataset intern en met gecontracteerde derden gebruiken.
Wie de data ontvangt, bepaalt de lat
Intern, je eigen analisten
Beoordeeld met jouw eigen middelen in gedachten, inclusief toegang tot de originele records.
Een gecontracteerde derde partij
De checks slagen met de data, kennis en tools van die partner in gedachten.
Open data, voor iedereen
Een strengere grens, afgesproken met je DPO, en een beoordeling per publicatie tegen een worstcase-aanvaller.
Je organisatie neemt als verwerkingsverantwoordelijke de eindbeslissing. Het rapport is het bewijs daarachter.
Bewijs waar elke stakeholder mee verder kan
Data scientists
Begin te bouwen op synthetische data zonder te wachten op toegang tot de originele records, en weet welke analyses standhouden.
DPO en governance
Een score per aanval tegen de grens die je hebt afgesproken, klaar voor je schriftelijke anonimiseringsverslag.
Juridisch
Het bewijs achter je antwoord als een privacytoezichthouder vraagt hoe je concludeerde dat de data anoniem is.
Bekijk het evaluatierapport op je eigen data
In een walkthrough lopen we samen een volledig rapport door, score voor score en check voor check.