An AI System Evaluation Framework for Advancing AI Safety: Terminology, Taxonomy, Lifecycle Mapping
Auteurs : Boming Xia, Qinghua Lu, Liming Zhu, Zhenchang Xing
Points clés générés par l'IA
- Besoin urgent d'évaluations complètes en matière de sécurité pour les systèmes d'IA
- Collaboration nécessaire entre les communautés de l'IA, du génie logiciel et de la gouvernance
- Difficultés liées aux pratiques et terminologies divergentes, à la complexité des systèmes d'IA et aux contraintes environnementales
- Cadre d'évaluation des systèmes d'IA comprenant une terminologie harmonisée, une taxonomie et une cartographie
- Encouragement d'un débat approfondi sur l'évaluation des systèmes d'IA au-delà des approches centrées sur le modèle
- Présentation lors de la première Conférence internationale ACM sur les logiciels alimentés par l'IA (AIware)
- Importance cruciale d'une approche holistique pour évaluer la sécurité des systèmes d'intelligence artificielle
Résumé : The advent of advanced AI underscores the urgent need for comprehensive safety evaluations, necessitating collaboration across communities (i.e., AI, software engineering, and governance). However, divergent practices and terminologies across these communities, combined with the complexity of AI systems-of which models are only a part-and environmental affordances (e.g., access to tools), obstruct effective communication and comprehensive evaluation. This paper proposes a framework for AI system evaluation comprising three components: 1) harmonised terminology to facilitate communication across communities involved in AI safety evaluation; 2) a taxonomy identifying essential elements for AI system evaluation; 3) a mapping between AI lifecycle, stakeholders, and requisite evaluations for accountable AI supply chain. This framework catalyses a deeper discourse on AI system evaluation beyond model-centric approaches.
Outils pour cet article
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
Nous comparons le titre et le résumé avec les articles indexés dans notre base. Pour les articles arXiv, la recherche porte sur la même catégorie ; pour les DOI et les autres sources, elle couvre toutes les sources et disciplines. Vous pouvez la relancer à mesure que notre base s’enrichit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.