Chapitre 12 (suite) — Sécurité des Systèmes d'IA & Gouvernance

⏱ ~25 min autonome · ~40 min encadré

Après avoir vu l'IA comme outil, ce chapitre se retourne vers l'IA comme cible : les systèmes d'IA eux-mêmes ont leur propre surface d'attaque, distincte de l'infrastructure classique qui les héberge.

Décrire le principe de l'empoisonnement de données appliqué à un modèle d'IA.
Expliquer ce qu'est l'injection de prompt et pourquoi elle diffère d'une injection SQL classique.
Situer les principes gouvernementaux québécois d'utilisation responsable de l'IA.

Sécurité des systèmes d'IA eux-mêmes

Empoisonnement de données (data poisoning)

Un modèle d'apprentissage automatique se construit à partir de données d'entraînement. Si un attaquant parvient à corrompre une partie de ces données — en soumettant délibérément des exemples trompeurs dans un système qui s'entraîne en continu, par exemple — il peut influencer le comportement futur du modèle de façon discrète et durable, bien avant tout déploiement en production.

Injection de prompt

L'injection de prompt exploite un modèle de langage en lui fournissant une entrée conçue pour détourner ses instructions initiales — par exemple, convaincre un assistant IA d'ignorer ses consignes de sécurité en lui faisant croire à un contexte différent. Le parallèle avec l'injection SQL est instructif mais limité : là où l'injection SQL exploite une séparation insuffisante entre données et code dans un langage formel et prévisible, l'injection de prompt exploite l'absence de frontière nette entre « instructions » et « contenu » dans le langage naturel lui-même — un défi structurellement différent, plus difficile à corriger par une simple règle de validation.

Mémorisez ! L'injection SQL se corrige structurellement (requêtes préparées). L'injection de prompt n'a pas d'équivalent aussi net, précisément parce que le langage naturel ne sépare pas aussi clairement « instruction » et « donnée » — un problème de recherche encore actif, pas une faille résolue une fois pour toutes.

Extraction de modèle

L'extraction de modèle consiste à reconstituer, par des requêtes répétées et une analyse systématique des réponses obtenues, une approximation fonctionnelle d'un modèle propriétaire — sans jamais accéder directement à son code ou ses paramètres internes. Un risque de propriété intellectuelle autant que de sécurité, pour toute organisation ayant investi massivement dans l'entraînement d'un modèle.

Enjeux de gouvernance

Cadres émergents

Contrairement aux domaines plus matures de ce cours (cryptographie, réseau), la gouvernance de l'IA reste un champ en construction active à l'échelle mondiale — les cadres réglementaires et normatifs évoluent rapidement, et ce qui est décrit ici représente un point de référence à un moment donné, pas une norme figée.

Angle Québec

Contexte québécois : Le gouvernement du Québec a publié un énoncé de principes pour une utilisation responsable de l'intelligence artificielle, accompagné d'un guide d'application des mesures relatives à l'IA générative dans l'administration publique. Sans se substituer à un texte légal contraignant pour le secteur privé, ces documents donnent une indication claire de la direction que prend l'encadrement de l'IA au Québec — transparence envers les utilisateurs, validation humaine des décisions à impact significatif, et responsabilité claire de l'organisation qui déploie un système d'IA, indépendamment de qui l'a développé.

Chapitre suivant → Synthèse : Anatomie d'un Test d'Intrusion Complet

Quiz — Sécurité des Systèmes d'IA & Gouvernance

1. Qu'est-ce que l'empoisonnement de données (data poisoning) ?

Le vol direct du code source d'un modèle Une attaque par déni de service contre un serveur d'IA La corruption délibérée des données d'entraînement pour influencer le comportement futur du modèle Le chiffrement des paramètres du modèle

L'empoisonnement de données vise à altérer discrètement le comportement d'un modèle en corrompant ses données d'entraînement.

2. En quoi l'injection de prompt diffère-t-elle structurellement de l'injection SQL ?

Elle n'existe pas réellement Elle se corrige de la même façon exacte que l'injection SQL Elle ne concerne que les bases de données Le langage naturel ne sépare pas aussi nettement instruction et donnée qu'un langage formel

L'absence de séparation nette entre instruction et contenu en langage naturel rend l'injection de prompt plus difficile à corriger structurellement.

3. Qu'est-ce que l'extraction de modèle vise principalement à obtenir ?

Une approximation fonctionnelle d'un modèle propriétaire, sans accès direct à son code Un accès administrateur au serveur hébergeant le modèle La liste des utilisateurs du service Le chiffrement des communications du modèle

L'extraction de modèle reconstruit une approximation du comportement d'un modèle via des requêtes répétées, sans accès direct interne.

4. Pourquoi la gouvernance de l'IA est-elle décrite comme un champ « en construction active » ?

Parce qu'aucun cadre n'existe nulle part Parce que les cadres réglementaires évoluent rapidement à l'échelle mondiale Parce que l'IA est interdite dans plusieurs pays Parce qu'elle ne concerne que le secteur privé

Contrairement à des domaines plus matures du cours, la gouvernance de l'IA évolue rapidement et n'est pas encore stabilisée.

5. Que couvre l'énoncé de principes du gouvernement du Québec en matière d'IA ?

Une interdiction totale de l'IA générative Une norme technique de chiffrement obligatoire Une utilisation responsable de l'IA, incluant transparence et validation humaine des décisions à impact significatif Un standard de développement de modèles propriétaires

Les principes portent sur la transparence, la validation humaine et la responsabilité organisationnelle, pas sur une interdiction ou une norme technique.

6. Qui reste responsable, selon l'angle québécois évoqué, lors du déploiement d'un système d'IA ?

Uniquement le fournisseur du modèle Aucune responsabilité claire n'existe L'utilisateur final individuel uniquement L'organisation qui déploie le système, indépendamment de qui l'a développé

La responsabilité reste attribuée à l'organisation déployant le système d'IA, peu importe l'origine du développement du modèle.

7. Pourquoi l'injection de prompt reste-t-elle un problème de recherche actif plutôt qu'une faille définitivement résolue ?

Il n'existe pas de méthode structurelle aussi nette que les requêtes préparées pour la corriger Les modèles de langage n'existent que depuis un an Personne ne s'y intéresse dans l'industrie Elle a déjà été entièrement résolue

Contrairement à l'injection SQL, il n'existe pas encore de contre-mesure structurelle aussi définitive pour l'injection de prompt.

8. Un attaquant qui soumet en continu des exemples trompeurs à un système qui s'entraîne en direct illustre :

Une extraction de modèle Une injection de prompt Un empoisonnement de données Une attaque de déni de service

Corrompre progressivement les données d'entraînement d'un système en apprentissage continu est la définition même de l'empoisonnement de données.

9. Pourquoi l'extraction de modèle représente-t-elle aussi un risque de propriété intellectuelle ?

Elle ne concerne que des modèles gratuits Elle permet de reproduire fonctionnellement un investissement d'entraînement coûteux sans y accéder directement Elle chiffre automatiquement les données de l'organisation Elle ne pose aucun risque réel

Reproduire le comportement d'un modèle propriétaire par extraction menace directement l'investissement de l'organisation qui l'a entraîné.

10. Quel document québécois est mentionné comme pertinent pour l'IA générative dans l'administration publique ?

La Charte canadienne des droits et libertés Le Code criminel La Loi 25 uniquement Le guide d'application des mesures relatives à l'IA générative

Ce guide accompagne l'énoncé de principes gouvernemental pour encadrer spécifiquement l'usage de l'IA générative dans l'administration publique.