Le grand défi de la protection des données utilisées par les systèmes d’apprentissage automatique
Les progrès réalisés en apprentissage automatique (Machine Learning) permettent de concevoir des applications médicales performantes pour l’aide au diagnostic, la médecine prédictive ou la détection automatique de lésions en imagerie médicale. Les composantes logicielles d’apprentissage automatique intégrées aux solutions réalisent de la classification de données et de la détection d’anomalies sans intervention humaine.
La mise en œuvre de ces composantes s’appuie sur une phase initiale d’apprentissage construite à partir d’un ensemble de données (dataset) d’entrainement. Une fois cette phase réalisée, la solution peut effectuer des tâches de classification automatique ou de régression sur de nouveaux jeux de données de grands volumes. L’efficacité de ces solutions est directement liée à la qualité des données utilisées lors de l’entrainement et à leur adéquation avec les données qui interviendront en phase de production.
Le risque de réidentification des données d’entraînement d’un modèle
Dans le secteur de la santé, les algorithmes d’apprentissages automatiques s’appuient souvent sur des données issues des dossiers médicaux des patients. La question du maintien de la confidentialité et de la non réidentification des patients se pose donc de manière centrale. Plus précisément, si un modèle a été entrainé avec des données provenant de plusieurs sources avec plusieurs niveaux d’anonymat, à quel point ce modèle expose-t-il ses données d’entraînement ? Est-il possible de modifier le processus d’apprentissage pour forcer le modèle produit à respecter un certain niveau de confidentialité ?
Les concepteurs de plateformes intégrant des modules d’apprentissages automatiques doivent orienter leurs développements en privilégiant la recherche de « privacy by design » bien avant toute mise en production des solutions. Il en va de la sécurité des données des patients et de la conformité avec les différentes réglementations dont le RGPD.
De récentes expérimentations ont mis en lumière les vulnérabilités de nombreux modèles existants à différents niveaux. Des études empiriques ont montré l’existence d’un phénomène de mémorisation involontaire par le modèle entraîné d’exemples intervenant durant la phase d’entraînement. Cet effet indésirable est d’autant plus marqué que le modèle dispose d’une grande capacité d’apprentissage comme c’est le cas notamment chez les réseaux de neurones. Ainsi, un réseau de neurones entraîné sur du texte anglais a mémorisé des mots aléatoires comme des mots de passe, insérés dans le jeu d’entraînement puis a permis leur restitution [1].
Deux types d’attaques de rétro-ingénierie, réalisées à partir d’un modèle entraîné, font l’objet d’intenses recherches : l’attaque d’appartenance et l’attaque par reconstruction. L’attaque d’appartenance consiste à deviner efficacement si une donnée particulière a été utilisée ou non durant la phase d’entraînement d’un modèle. L’attaque par reconstruction consiste à reconstruire une donnée d’entrainement ou certains de ses attributs. De telles attaques peuvent être conduites soit en disposant des paramètres complets du modèle (on parle alors de white box attack) soit en disposant seulement d’un accès au modèle par des requêtes d’inférences (on pose des questions précises au modèle dont les réponses permettront la reconstruction de la donnée d’entraînement. On parle dans ce cas de black box attack). La mise en œuvre potentielle de ces deux types d’attaques porte atteinte à la confidentialité des données d’entraînement et ouvre la voie à des détournements incompatibles avec les exigences de protection des données de santé.
Comme souvent lorsqu’une technologie devient incontournable, l’exploitation de ses vulnérabilités intervient sans délai tout comme émerge une seconde technique de sécurisation et de correction des failles de sécurité. C’est précisément le cas avec l’approche de confidentialité différentielle (differential privacy) pour l’apprentissage statistique.
La confidentialité différentielle pour préserver l’anonymisation des données
Introduit en 2006, le concept de confidentialité différentielle rassemble des méthodes qui protègent les données à caractère personnel contre le risque de réidentification tout en maintenant la pertinence des résultats de requêtes. A l’intersection de plusieurs disciplines mathématiques (data sciences, optimisation, probabilités, cryptographie), la confidentialité différentielle permet l’exploitation statistique de données individuelles agrégées sans compromettre la vie privée des individus concernés. L’idée générale est issue des travaux de Cynthia Dwork [2]. La confidentialité différentielle est obtenue en appliquant un procédé qui introduit de l’aléa dans les données tout en maintenant leur potentiel d’exploitation.
Donnons un exemple devenu classique d’algorithme satisfaisant la confidentialité différentielle. Supposons que l’on cherche à estimer la proportion de consommateurs de drogues dans une population. L’approche classique consiste à poser directement la question à un échantillon représentatif de la population. L’inconvénient majeur de la méthode directe est que la réponse d’un individu sondé compromet sa vie privée. Une approche « Differential Privacy » s’appuie sur le processus suivant : pour chaque individu interrogé, on effectue un tirage à pile ou face. Si l’on obtient pile, l’individu répond sincèrement. Si l’on obtient face, on lance une seconde pièce pour répondre au hasard à la question du sondage : face donne la réponse « oui, je suis consommateur » et pile donne « non, je ne suis pas consommateur ». De cette façon, chaque individu peut réfuter sa réponse en prétendant qu’elle est due au hasard. Quant au sondeur, s’il dispose d’un échantillon assez large, il peut facilement retrouver une estimation fiable de la proportion de consommateurs de drogues à partir de la fréquence de réponses positives qu’il observe.
Cet exemple met en lumière plusieurs propriétés fondamentales du concept de Differential Privacy. La première propriété (positive) est la robustesse face au post-traitement : il n’est pas possible de compromettre la vie privée de l’individu sondé en analysant sa réponse. Une seconde propriété (négative) est celle de composition. Intuitivement, si l’on répète 100 fois le sondage décrit sur la même personne, on obtiendra une estimation fiable de sa vraie réponse. Une troisième propriété remarquable (positive) est celle du sous-échantillonnage : si un individu a une probabilité strictement inférieure à un d’être inclus dans l’étude, alors sa vie privée est d’avantage préservée.
Concevoir un algorithme satisfaisant la propriété de confidentialité différentielle n’est pas toujours possible. Lorsque celui-ci donne une réponse déterministe qui dépend des données, c’est en général impossible sans modifier le format des réponses. La solution consiste à introduire du bruit aléatoire dans la réponse retournée.
La confidentialité différentielle offre une garantie forte de maintien de l’anonymat en s’appliquant à un algorithme et non à un résultat. C’est là toute la force de ce procédé qui reste toutefois complexe à mettre en œuvre. L’ajout de bruit a en effet tendance à dégrader les performances du modèle. Il faut donc trouver un équilibre subtil dans la construction de l’algorithme sous-jacent. De plus, il n’est pas possible de certifier qu’un modèle vérifie la propriété de confidentialité différentielle sans avoir accès à l’algorithme qui l’a construit.
Les enjeux de confidentialité différentielle vont occuper de plus en plus de place dans le déploiement de solutions de santé intelligentes construites sur de grands corpus de données individuelles. Le principal défi technologique sera celui de l’exploitation de cette donnée individuelle au bénéfice du collectif sans sacrifier sa « privacy » et sans dégrader la qualité du modèle.
Chaire de cyberdéfense & cybersécurité Saint-Cyr
Liens et références
[1] Carlini, N., Liu, C., Kos, J., Erlingsson, _U., Song, D. : The secret sharer : Measuring unintended neural network memorization & extracting secrets. arXiv preprint – arXiv :1802.08232 (2018)
[2] Dwork, C., McSherry, F., Nissim, K., Smith, A. : Calibrating noise to sensitivity in private data analysis. In : Theory of cryptography conference. pp. 265{284.
Springer (2006)
