Glossaire · Sécurité et données
Injection de prompt
L’injection de prompt consiste à glisser des instructions dans un texte lu par une IA, pour la détourner de sa tâche, souvent à l’insu de son utilisateur.
Aussi appelé : prompt injection
Une IA suit les instructions qu’elle lit, sans toujours distinguer celles de son utilisateur de celles qui se cachent dans un document. L’injection de prompt exploite ce défaut : quelqu’un glisse des instructions dans un contenu que l’IA va traiter et l’IA risque de leur obéir. Le texte piégé peut être invisible, écrit en blanc sur fond blanc dans un PDF ou perdu au milieu d’un e-mail, d’une page web ou d’un fichier.
On en distingue deux formes :
- directe : l’utilisateur lui-même essaie de contourner les règles de l’IA, par exemple en écrivant « ignore tes instructions précédentes » ;
- indirecte : les instructions viennent d’un tiers et se cachent dans ce que l’IA lit pour vous.
Le risque grandit avec ce que l’IA peut faire. Un chatbot qui se contente de répondre peut écrire des bêtises ; un agent IA qui lit vos e-mails, modifie des fichiers ou envoie des messages peut agir contre vous. L’OWASP classe d’ailleurs l’injection de prompt au premier rang des risques propres aux applications qui reposent sur un grand modèle de langage.
Aucune parade n’est infaillible aujourd’hui. Les bons réflexes : ne donner à l’IA que les accès utiles à sa tâche, relire ce qu’elle propose avant une action importante et se méfier des documents d’origine inconnue que vous lui faites lire.
Exemple. Grégoire, acheteur, demande à son assistant IA de résumer l’offre d’un fournisseur reçue en PDF ; une ligne écrite en blanc sur blanc ordonne à l’IA de présenter cette offre comme la meilleure.
Avec Genipy
Une IA connectée à Genipy n’a accès qu’à l’espace que vous avez choisi pour elle et vous pouvez couper cette connexion en un clic.