Quel cadre pour les systèmes d’IA dans le secteur de la santé ?
Marguerite Brac de La Perrière - Avocate associée, spécialisée en santé numérique
« En matière d’intelligence artificielle, la confiance n’est pas un luxe mais une nécessité absolue »1.
Face à la rapidité des avancées technologiques dans le domaine de l’intelligence artificielle (IA), et aux risques associés en matière de sécurité et de droits fondamentaux, la Commission a proposé un cadre juridique très attendu2 sous la forme d’un projet de règlement (Artificial Intelligence Act), lequel sera donc d’effet direct dès son adoption (probablement sous 2 ans) avec une entrée en application sous 2 ans, associé à un plan coordonné d’actions3.
L’Artificial Intelligence Act poursuit l’ambition de faire de l’Europe le pôle mondial d’une intelligence artificielle (IA) digne de confiance, centrée sur l’humain, durable, sûre et inclusive.
Cette ambition s’articule autour quatre principaux objectifs4 suivants :
- garantir que les systèmes d'IA mis sur le marché de l'Union soient sûrs et conforme aux droits fondamentaux et aux valeurs de l'Union ;
- garantir la sécurité juridique pour favoriser l'investissement et l'innovation dans l'IA ;
- améliorer la gouvernance et l'application effective des droits fondamentaux et des exigences de sécurité applicables aux systèmes d'IA ;
- œuvrer en faveur d’un marché unique pour des applications d'IA légales, sûres et dignes de confiance, et prévenir la fragmentation du marché.
Les principes de qualité, intégrité, sécurité, robustesse, résilience, supervision, explicabilité, interprétabilité, transparence, fiabilité, traçabilité, garantie humaine, auditabilité jusqu’alors identifiés dans les différents textes européens et mis en œuvre par les développeurs et éditeurs au moyen d’une gouvernance plus ou moins efficiente, y sont consacrés et traduits en obligations concrètes à la charge des fournisseurs dès la conception et tout au long du cycle de vie d’un système d’IA.
Des règles proportionnées aux risques spécifiques liés aux systèmes d’IA sont définies, différenciées selon que le risque est inacceptable, élevé ou faible. Les pratiques présentant un risque inacceptable sont prohibées, les pratiques à haut risque sont soumises à de nombreuses exigences de « compliance », et les quelques pratiques à faible risque font l’objet d’obligations de transparence.
Dans le secteur de la santé, compte tenu des enjeux concernant la vie et la santé associés à l’utilisation des systèmes d’IA d’aide à la décision et notamment d’aide au diagnostic, leur pertinence et fiabilité doivent être garanties, supposant une mise sur le marché dans le respect du Règlement relatif aux dispositifs médicaux.
Il en résulte que les systèmes d’IA en santé doivent, pour la plupart, conformément à l’Artificial Intelligence Act, être considérés comme relevant des systèmes d’IA présentant un risque élevé5, et devant ainsi répondre aux exigences y afférentes, outre les exigences issues des réglementations sectorielles.
Ce corpus d’exigences vient asseoir, sous la forme d’exigences, les bonnes pratiques applicables au développement et à la surveillance des systèmes d’IA à haut risque (1), les obligations des fournisseurs et utilisateurs professionnels (2) notamment, et définir les conditions de gouvernance et sanctions en cas de violation (3).
1. Exigences applicables aux systèmes d’IA de santé, considérés comme « à haut risque »
L’Artificial Intelligence Act poursuit la logique de responsabilisation, documentation, et approche par les risques, consacrée par les différents règlements européens adoptés ces dernières années, notamment encadrant les dispositifs médicaux6, et la protection des données7.
La compliance d’un système d’IA à haut risque doit être appréciée par rapport à sa conformité dès la conception, puis tout au long de son cycle de vie, aux exigences ci-après.
1.1. Gestion des risques8
Un système itératif de gestion des risques d'un système d'IA à haut risque, doit être mis en place dès sa conception et tout au long de son cycle de vie.
Le système de gestion des risques doit prendre en compte, à la fois les risques raisonnablement susceptibles d'apparaître lorsque le système d'IA à haut risque est utilisé conformément à sa destination d’usage ou dans des conditions de mauvaise utilisation raisonnablement prévisibles, et d’autres risques identifiés à partir de l’analyse des données recueillies dans le cadre du système de surveillance après commercialisation.
1.2. Qualité et représentativité des données9
Les principes
Les systèmes d'IA d’apprentissage automatique (machine learning) doivent être développés sur la base de jeux données d'entraînement, de validation et d'essai, de qualité, soumis à des pratiques appropriées de gouvernance et de gestion des données.
Ainsi, les ensembles de données de formation, de validation et d'essai doivent être pertinents, représentatifs, exempts d'erreurs et complets. Ils doivent présenter des propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou les groupes de personnes sur lesquels le système d'IA à haut risque est destiné à être utilisé.
L’Artificial intelligence Act relève qu’en cas de stricte nécessité et aux fins de surveillance de la partialité, de détection et de correction des préjugés en rapport avec les systèmes d'IA à haut risque, les fournisseurs de ces systèmes peuvent traiter des catégories particulières de données à caractère personnel, notamment des données de santé, sous réserve de garanties appropriées, telles que la pseudonymisation, ou le chiffrement, lorsque l'anonymisation peut affecter de manière significative la finalité poursuivie.
La constitution de jeux de données en France
En France, l’accès à des jeux de données par les industriels aux fins de développement de systèmes d’IA peut encore être compliqué. A cet égard, et concernant les jeux de données pseudonymisées, les caractéristiques des projets retenus par le Health Data Hub gagneront à être précisées et publiées à des fins de lisibilité et de sécurité juridique.
Dans le même sens, et s’agissant cette fois des jeux de données anonymes, les conditions juridiques applicables aux traitements d’anonymisation devrait être clarifiées, en particulier la qualification des acteurs y procédant, les bases de licéité applicables, et les conditions de respect des droits et libertés des personnes concernées, et ce aux fins de sécurité juridique et au bénéfice de la pérennité des projets initiés. Dans cette attente, les acteurs procédant à l’anonymisation de données de santé doivent veiller à constituer une documentation solide, et/ou procéder à une demande d’autorisation à la CNIL.
1.3. Documentation10
La documentation technique d'un système d'IA à haut risque doit être établie avant la mise sur le marché ou la mise en service de ce système, tenue à jour, permettre de démontrer que le système d'IA à haut risque est conforme aux exigences de l’Artificial Intelligence Act, et, ainsi, fournir aux autorités nationales compétentes et aux organismes notifiés toutes les informations nécessaires à l’évaluation de la conformité du système d'IA.
1.4. Traçabilité11
Les systèmes d'IA à haut risque doivent être conçus et développés avec des capacités permettant l'enregistrement automatique d'événements ("journaux") pendant leur fonctionnement tout au long de son cycle de vie, adapté à l'objectif prévu du système.
Ces capacités de journalisation doivent permettre de surveiller le fonctionnement du système d'IA à haut risque dans le cadre de son utilisation, et faciliter la surveillance après la mise sur le marché.
1.5. Transparence et information des utilisateurs12
Les systèmes d'IA à haut risque doivent être conçus et développés de manière à garantir que leur fonctionnement soit suffisamment transparent pour permettre aux utilisateurs d'interpréter les résultats du système et de les utiliser de manière appropriée.
Cette obligation de transparence est un préalable au contrôle humain figurant dans les travaux des institutions européennes, lequel est consacré par l’initiative Ethik-IA sous la dénomination de « garantie humaine » insérée au projet de Loi de Bioéthique française à son article 1113.
Ainsi, les systèmes d'IA à haut risque doivent être accompagnés d'un mode d'emploi comprenant les informations concises, complètes, correctes et claires qui sont pertinentes, accessibles et compréhensibles pour les utilisateurs, sur le fonctionnement du système.
Dans cette perspective, ces informations pourront prendre la forme de consignes de sécurité et/ou d’avis de non-responsabilité, incluant l’indication de niveaux de probabilité d’erreurs ou inexactitudes, et bien sûr toute information utile sur les données qui sous-tendent le système aux fins d’informations sur les éventuels biais et limites de l’outil.
Il convient de relever qu’au-delà de l’obligation de transparence, et du corolaire en termes de garantie humaine, ces informations constituent le socle d’une limitation ou exclusion de responsabilité du fournisseur du système d’IA, à l’égard des décisions prises par l’utilisateur dans le cadre de son utilisation, et devront être appréhendées en lien avec les conditions d’assurance du fournisseur et de l’utilisateur professionnel.
1.6. Surveillance humaine14
Les systèmes d'IA à haut risque doivent être conçus et développés de manière à pouvoir être surveillés efficacement par des personnes physiques pendant la période d'utilisation du système d'IA, notamment au moyen d’outils d'interface homme-machine appropriés.
L’objectif de cette surveillance humaine est de prévenir ou réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu'un système d'IA de haut niveau est utilisé conformément à sa finalité, ou dans des conditions de mauvaise utilisation raisonnablement prévisibles.
Cette obligation correspond à un contrôle humain, mais pas nécessairement effectué par l’utilisateur. Ainsi, la surveillance humaine est assurée par des mesures suivantes identifiées et ou intégrées dans le système d’IA à haut risque par le fournisseur, avant sa mise sur le marché permettant notamment aux personnes auxquelles est confiée la surveillance humaine, en fonction des circonstances, de comprendre pleinement les capacités et les limites du système d'IA à haut risque et être en mesure d'en surveiller dûment le fonctionnement, afin de pouvoir détecter les signes d'anomalies, de dysfonctionnements et de performances inattendues et les traiter dès que possible.
1.7. Précision, robustesse et cybersécurité15
Les systèmes d'IA à haut risque doivent être conçus et développés de manière à atteindre, compte tenu de leur finalité, un niveau approprié aux circonstances et aux risques, de précision, de robustesse et de cybersécurité, tout au long de leur cycle de vie.
Comme précédemment relevé, les niveaux d'exactitude et les paramètres d'exactitude pertinents des systèmes d'IA à haut risque doivent figurer dans les instructions d'utilisation qui les accompagnent.
Les systèmes d'IA à haut risque doivent être résilients en ce qui concerne les erreurs, les défaillances ou les incohérences qui peuvent survenir au sein du système ou de l'environnement dans lequel le système fonctionne, notamment en raison de leur interaction avec des personnes physiques ou d'autres systèmes. La robustesse des systèmes d'IA à haut risque peut être obtenue grâce à des solutions techniques de redondance, qui peuvent inclure des systèmes de sauvegarde ou de sécurité intégrée.
En outre, les systèmes d'IA à haut risque qui continuent d'apprendre après avoir été mis sur le marché ou mis en service doivent être développés de manière à garantir que les résultats éventuellement biaisés, dus à des résultats utilisés comme données d'entrée ("boucles de rétroaction") soient dûment pris en compte par des mesures d'atténuation appropriées. Les systèmes d'IA à haut risque doivent être résilients face aux tentatives de tiers non autorisés de modifier leur utilisation ou leurs performances par des moyens non autorisés. Les solutions techniques visant à remédier aux vulnérabilités spécifiques de l'IA doivent comprendre, le cas échéant, des mesures visant à prévenir et à contrôler les attaques consistant à manipuler les données d'apprentissage ("empoisonnement des données") et les entrées conçues pour que le modèle commette une erreur ("exemples contradictoires").
2. Obligation des fournisseurs et utilisateurs professionnels des systèmes d’IA à haut risque
2.1. Obligations des fournisseurs
Les fournisseurs de systèmes d'IA à haut risque ont la charge de la mise en conformité, et doivent donc s’assurer que les exigences applicables aux systèmes d’IA à haut risque sont respectées. A ce titre, et outre les exigences ci-avant présentées, ils doivent notamment16 :
- mettre en place un système de gestion de la qualité (cf. 2.2);
- établir la documentation technique du système d'IA à haut risque ;
- conserver, lorsqu'ils en ont le contrôle, les journaux générés automatiquement par le système d'IA à haut risque ;
- s'assurer que le système d'IA à haut risque est soumis à la procédure d'évaluation de la conformité pertinente, avant sa mise sur le marché ou sa mise en service ;
- se conformer aux obligations d'enregistrement le cas échéant (pour les systèmes visés à l’annexe III) ;
- prendre les mesures correctives nécessaires si le système d'IA à haut risque n'est pas conforme aux exigences ;
- informer les autorités nationales compétentes des États membres dans lesquels le système d'IA est mis à disposition ou mis en service et, le cas échéant, l'organisme notifié, de la non-conformité et de toute mesure corrective prise ;
- apposer le marquage CE sur le système d'IA à haut risque pour indiquer la conformité ;
- à la demande d'une autorité compétente nationale, démontrer la conformité du système d'IA à haut risque aux exigences.
2.2. Management de la qualité
Les fournisseurs de systèmes d'IA à haut risque doivent mettre en place un système de gestion de la qualité garantissant le respect des exigences17 et attestant du respect de leurs obligations18.
Ce système doit être documenté de manière systématique et ordonnée, sous la forme de politiques, de procédures et d'instructions écrites, comprenant au moins les éléments suivants :
- La stratégie de conformité à la réglementation, y compris le respect des procédures d'évaluation de la conformité avec les organismes notifiés, et les procédures de gestion des risques ;
- les procédures de gestion des modifications apportées au système d'IA à haut risque ;
- les techniques, procédures et actions systématiques à utiliser pour la conception, le contrôle de la conception et la vérification de la conception du système d'IA à haut risque ;
- les techniques, les procédures et les actions systématiques à utiliser pour le développement, le contrôle et l'assurance qualité du système d'IA à haut risque ;
- les procédures d'examen, d'essai et de validation à effectuer avant, pendant et après le développement du système d'IA à haut risque, et la fréquence à laquelle elles doivent être effectuées ;
- les spécifications techniques, y compris les normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées intégralement, les moyens à utiliser pour garantir que le système d'IA à haut risque est conforme ;
- les systèmes et procédures de gestion des données, y compris la collecte des données, l'analyse des données, l'étiquetage des données, le stockage des données, le filtrage des données, l'extraction de données, l'agrégation de données, la conservation de données et toute autre opération concernant les données qui est effectuée avant et pour les besoins de la mise sur le marché ou de la mise en service;
- le système de gestion des risques ;
- l'établissement, la mise en œuvre et la maintenance d'un système de surveillance post-commercialisation ;
- les procédures relatives à la notification des incidents graves et des dysfonctionnements ;
- la gestion des relations avec les autorités compétentes nationales, les autorités compétentes, y compris les autorités sectorielles, qui fournissent ou soutiennent l'accès aux données, les organismes notifiés, les exploitants, les clients ou les autres parties intéressées ;
- les systèmes et procédures d'enregistrement de tous les documents et informations pertinents ;
- la gestion des ressources, y compris les mesures liées à la sécurité de l'approvisionnement ;
- le cadre définissant les responsabilités de la direction et des autres membres du personnel en ce qui concerne les aspects de la gestion de la qualité.
La mise en œuvre de ces éléments est proportionnée à la taille de l'organisation du prestataire.
2.3. Obligations des utilisateurs professionnels de systèmes d'IA à haut risque19
Les utilisateurs de systèmes d'IA à haut risque doivent utiliser les systèmes conformément aux instructions d'utilisation les accompagnant, mais aussi contrôler son fonctionnement sur la base de celles-ci.
Dans la mesure où l'utilisateur exerce un contrôle sur les données d'entrée, il doit veiller à ce qu’elles soient pertinentes au regard de la finalité du système d'IA à haut risque.
Tout utilisateur ayant des raisons de penser que l'utilisation conforme au mode d'emploi peut entraîner des conséquences négatives, doit en informer le fournisseur ou le distributeur et suspendre l'utilisation du système. Dans le même sens, tout utilisateur ayant identifié un incident grave ou un dysfonctionnement, doit également en informer le fournisseur ou le distributeur et interrompre l'utilisation du système d'IA.
Les utilisateurs de systèmes d'IA à haut risque doivent conserver pendant une période appropriée, compte tenu de la finalité du système d'IA à haut risque et des obligations légales applicables, les journaux générés automatiquement par le système d'IA à haut risque, dans la mesure où ces journaux sont sous leur contrôle.
A l’égard de ce qui précède, la définition des usages, limitations et obligations notamment s’agissant de la conservation des journaux devront être soigneusement définies au contrat liant fournisseur et utilisateurs (CGV et CGU), en cohérence avec les informations aux utilisateurs.
Enfin, les utilisateurs de systèmes IA à haut risque utiliseront les informations fournies pour se conformer à leur obligation d'effectuer une analyse d'impact sur la protection des données en vertu de l'article 35 du RGPD le cas échéant.
3. Gouvernance et sanctions
3.1 Gouvernance
Il est désormais impensable de s’engager dans le développement d’un système d’IA, notamment dans le secteur de la santé, dans lequel les systèmes d’IA sont à haut risque, sans mettre au préalable en place une gouvernance interne, articulée autour d’un comité pluridisciplinaire, aux fins de conformité, dès la conception et tout au long du cycle de vie, du système d’IA aux exigences de l’Intelligence Artificial Act.
En outre, une gouvernance nationale sera mise en œuvre, chaque Etat membre devant ainsi désigner une autorité nationale compétente. Des organismes notifiés seront désignés par une autorité choisie par chaque Etat membre selon une procédure et des exigences définies, afin d’évaluer le cas échéant la bonne conformité d’un système d’IA à haut risque, et délivrer une certification, à renouveler à chaque modification substantielle. Le respect de standards harmonisés ou spécifications communes pourra présumer de la conformité. En tout état de cause, le fournisseur devra établir une déclaration UE de conformité tenue à la disposition des autorités nationales compétentes.
3.2 Sanctions
Dans le même esprit que les sanctions prévues par le RGPD, tout manquement aux dispositions de l’Intelligence Artificial Act sera passible d’une amende administrative pouvant aller jusqu’à 20 millions d’euros, ou 4% du chiffre d’affaires annuel total, le montant le plus élevé étant retenu.
Le manquement à l’obligation pour le fournisseur de surveiller et détecter et corriger les biais par sa politique de gouvernance des données est même porté à 30 millions d’euros ou 6% du chiffre d’affaires annuel total.
En matière d’IA, la conformité réglementaire est donc de mise…
2 Proposition de cadre juridique européen sur l'IA
3 Plan coordonné avec les Etats membres 2021
4 Proposition de cadre juridique européen sur l'IA, 1.1
5 Artificial Intelligence Act, art. 6 I + Annex II, section A, 11 & 12
6 Règlement 2017/745 relatif aux dispositifs médicaux (RDM)
7 Règlement 2016/679 relatif à la protection des données (RGPD)
8 Artificial Intelligence Act, art. 9
9 Artificial Intelligence Act, art. 10
10 Artificial Intelligence Act, art. 11 + Annex IV
11 Artificial Intelligence Act, art. 12
12 Artificial Intelligence Act, art. 13
13 Projet de Loi de bioéthique
14 Artificial Intelligence Act, art. 14
15 Artificial Intelligence Act, art. 15
16 Artificial Intelligence Act, art. 16
17 Artificial Intelligence Act, art. 17