An AI System Evaluation Framework for Advancing AI Safety: Terminology, Taxonomy, Lifecycle Mapping

Mots clés générés par l'IA : Évaluation des systèmes d'IA Sécurité de l'IA Collaboration interdisciplinaire Terminologie harmonisée Approche holistique

Points clés générés par l'IA

La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

  • Besoin urgent d'évaluations complètes en matière de sécurité pour les systèmes d'IA
  • Collaboration nécessaire entre les communautés de l'IA, du génie logiciel et de la gouvernance
  • Difficultés liées aux pratiques et terminologies divergentes, à la complexité des systèmes d'IA et aux contraintes environnementales
  • Cadre d'évaluation des systèmes d'IA comprenant une terminologie harmonisée, une taxonomie et une cartographie
  • Encouragement d'un débat approfondi sur l'évaluation des systèmes d'IA au-delà des approches centrées sur le modèle
  • Présentation lors de la première Conférence internationale ACM sur les logiciels alimentés par l'IA (AIware)
  • Importance cruciale d'une approche holistique pour évaluer la sécurité des systèmes d'intelligence artificielle
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Boming Xia, Qinghua Lu, Liming Zhu, Zhenchang Xing

1st ACM International Conference on AI-powered Software (AIware)

Résumé : The advent of advanced AI underscores the urgent need for comprehensive safety evaluations, necessitating collaboration across communities (i.e., AI, software engineering, and governance). However, divergent practices and terminologies across these communities, combined with the complexity of AI systems-of which models are only a part-and environmental affordances (e.g., access to tools), obstruct effective communication and comprehensive evaluation. This paper proposes a framework for AI system evaluation comprising three components: 1) harmonised terminology to facilitate communication across communities involved in AI safety evaluation; 2) a taxonomy identifying essential elements for AI system evaluation; 3) a mapping between AI lifecycle, stakeholders, and requisite evaluations for accountable AI supply chain. This framework catalyses a deeper discourse on AI system evaluation beyond model-centric approaches.

Soumis à arXiv le 08 Avr. 2024

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2404.05388v3

La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Les auteurs Boming Xia, Qinghua Lu, Liming Zhu et Zhenchang Xing ont développé un cadre d'évaluation des systèmes d'IA pour améliorer la sécurité de l'IA. Ils soulignent le besoin urgent d'évaluations complètes en matière de sécurité qui nécessitent une collaboration entre les communautés de l'IA, du génie logiciel et de la gouvernance. Cependant, les pratiques et terminologies divergentes au sein de ces communautés ainsi que la complexité des systèmes d'IA - dont les modèles ne sont qu'une partie - et les contraintes environnementales (telles que l'accès aux outils) entravent la communication efficace et l'évaluation globale. Ce document propose un cadre d'évaluation des systèmes d'IA comprenant trois composantes essentielles : 1) une terminologie harmonisée pour faciliter la communication entre les différentes communautés impliquées dans l'évaluation de la sécurité de l'IA ; 2) une taxonomie identifiant les éléments clés pour évaluer les systèmes d'IA ; 3) une cartographie reliant le cycle de vie de l'IA, les parties prenantes et les évaluations nécessaires pour une chaîne d'approvisionnement en IA responsable. Ce cadre encourage un débat plus approfondi sur l'évaluation des systèmes d'IA au-delà des approches centrées sur le modèle. Cette recherche a été présentée lors de la première Conférence internationale ACM sur les logiciels alimentés par l'IA (AIware). Leur travail met en lumière l'importance cruciale d'une approche holistique pour évaluer la sécurité des systèmes d'intelligence artificielle afin de garantir leur fiabilité et leur responsabilité dans un monde où l'utilisation croissante de technologies avancées nécessite une attention particulière à leurs implications éthiques et sociales.
Créé le 31 Jul. 2026

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Articles similaires résumés avec nos outils d'IA

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.