Cisco lance un outil open source pour traquer l’origine des intelligences artificielles.

Cisco lance un outil open source pour tracer l’origine des modèles d’IA

Cisco a récemment annoncé le lancement d’un nouvel outil open source, le Model Provenance Kit, destiné à améliorer la traçabilité des modèles d’intelligence artificielle (IA). Cette initiative répond à une problématique cruciale : la nécessité de connaître l’origine et l’historique des modèles intégrés, face à la prolifération rapide des technologies d’IA et aux risques associés à leur utilisation.

Le recours à des modèles tiers sur des plateformes comme HuggingFace soulève des enjeux importants en matière de sécurité IA et de conformité. Avec cette solution, Cisco vise à renforcer la transparence et la confiance dans les modèles d’IA, en la rendant accessible à toutes les organisations.

Un outil open source pour une traçabilité accrue des modèles d’IA

Le Model Provenance Kit se présente comme une boîte à outils Python, dotée d’une interface en ligne de commande. Il établit une « empreinte digitale » pour chaque modèle, en utilisant divers signaux tels que les métadonnées, la similarité des tokenizers, et la géométrie des embeddings. Cette approche technique vise à relever le défi de la traçabilité dans un domaine où les modèles sont régulièrement affinés et réemballés.

L’outil propose également un mode « comparer » pour identifier des lignées communes entre modèles et un mode « scanner » pour explorer une base de données de modèles en constante expansion. Cela permet de répondre aux problématiques de sécurité IA et de vulnérabilités non détectées.

Les enjeux cruciaux de la transparence dans l’intelligence artificielle

L’utilisation massive de modèles tiers soulève des questions de responsabilité et de fiabilité. Les données d’entraînement et les modifications apportées ne sont souvent pas documentées de manière rigoureuse, ce qui expose les entreprises à des risques de manipulation et au non-respect des régulations en vigueur. Cisco souligne que les déclarations des développeurs concernant l’origine et la sécurité des modèles restent souvent non vérifiées.

Une avancée décisive pour la sécurité IA et l’open source

Le lancement du Model Provenance Kit s’inscrit dans une dynamique croissante de l’open source comme vecteur de confiance en cybersécurité. Ce projet, disponible sur GitHub, s’appuie sur des empreintes mises à disposition sur Hugging Face, favorisant ainsi une collaboration entre grandes entreprises et communautés open source. Cela permet aux PME et ETI d’évaluer l’intégrité et la conformité de leurs modèles d’IA sans nécessiter des ressources d’audit approfondies.

Cette démarche est essentielle dans un contexte de multiplication des attaques via la chaîne d’approvisionnement logicielle et de renforcement des réglementations dans le secteur.

(Source : Cyber Sécurité)