Résultats du processus de synthèse de l'article arXiv : 1808.07036v3

Nous présentons QuAC, un ensemble de données pour la question-réponse en contexte qui contient 14 000 dialogues de questions-réponses axées sur l'information (soit un total de 100 000 questions). Les dialogues impliquent deux travailleurs du crowd : (1) un étudiant qui pose une série de questions ouvertes pour en apprendre le plus possible sur un texte caché de Wikipédia, et (2) un enseignant qui répond aux questions en fournissant de courts extraits du texte. QuAC introduit des défis non présents dans les ensembles de données existants sur la compréhension automatique. Ses questions sont souvent plus ouvertes et sans réponse claire, ou seulement significatives dans le contexte du dialogue. Cela est démontré par une évaluation qualitative détaillée. Nous rapportons également les résultats pour plusieurs modèles de référence, y compris une architecture récente de compréhension de lecture à la pointe étendue pour modéliser le contexte du dialogue. Notre meilleur modèle sous-performe par rapport aux humains avec une différence de 20 F1, suggérant qu'il y a encore beaucoup à faire sur ces données. L'ensemble de données, la ligne de base et le classement sont disponibles sur http://quac.ai. Les auteurs principaux du document sont Eunsol Choi, He He, Mohit Iyyer, Mark Yatskar, Wen-tau Yih, Yejin Choi, Percy Liang et Luke Zettlemoyer.

• QuAC est un ensemble de données pour la question-réponse en contexte avec 14 000 dialogues et 100 000 questions.
• Les dialogues impliquent deux travailleurs du crowd : un étudiant posant des questions ouvertes et un enseignant fournissant des extraits de texte en réponse.
• QuAC présente des défis uniques par rapport aux autres ensembles de données sur la compréhension automatique.
• Les questions sont souvent ouvertes, sans réponse claire, ou significatives dans le contexte du dialogue.
• Les résultats montrent que les modèles actuels sous-performent par rapport aux humains.
• L'ensemble de données, la ligne de base et le classement sont disponibles sur http://quac.ai.

SummaryQuAC is a set of data with 14,000 conversations and 100,000 questions for understanding context. The conversations involve a student asking open-ended questions and a teacher providing text excerpts in response. QuAC presents unique challenges compared to other data sets for automatic understanding. The questions are often open-ended or meaningful within the dialogue context. Current models perform worse than humans on this data set. Definitions- Ensemble de données (Data set): A collection of information or facts used for analysis or reference. - Question-réponse (Question-answer): An exchange where one person asks a question and another provides an answer. - Contexte (Context): The circumstances or setting in which something occurs. - Dialogue: A conversation between two or more people. - Compréhension automatique (Automatic understanding): The ability of machines to comprehend and interpret human language. - Sous-performent (Underperform): To not meet expectations or standards. - Ligne de base (Baseline): A starting point used for comparison in experiments or analysis. - Classement (Ranking): Arranging items based on their importance, quality, or performance. TRANSLATION IN FRENCHRésumé QuAC est un ensemble de données avec 14 000 dialogues et 100 000 questions pour comprendre le contexte. Les dialogues impliquent un étudiant posant des questions ouvertes et un enseignant fournissant des extraits de texte en réponse. Qu

Nous présentons QuAC, un ensemble de données pour la question-réponse en contexte qui contient 14 000 dialogues de questions-réponses axées sur l'information. Cela représente un total de 100 000 questions. Ces dialogues impliquent deux travailleurs du crowd : (1) un étudiant qui pose une série de questions ouvertes pour en apprendre le plus possible sur un texte caché de Wikipédia, et (2) un enseignant qui répond aux questions en fournissant de courts extraits du texte.

QuAC est une nouvelle ressource précieuse pour les chercheurs travaillant dans le domaine de la compréhension automatique. Il introduit des défis non présents dans les ensembles de données existants sur ce sujet. En effet, ses questions sont souvent plus ouvertes et sans réponse claire, ou seulement significatives dans le contexte du dialogue. Cela a été démontré par une évaluation qualitative détaillée.

Les résultats obtenus avec plusieurs modèles de référence ont également été rapportés, y compris ceux d'une architecture récente utilisée pour la compréhension de lecture à la pointe étendue afin de mieux modéliser le contexte du dialogue. Malgré cela, notre meilleur modèle sous-performe par rapport aux humains avec une différence F1 d'environ 20%. Cela suggère qu'il reste encore beaucoup à faire sur ces données.

L'ensemble de données QuAC ainsi que sa ligne directrice et son classement sont disponibles sur http://quac.ai. Les auteurs principaux du document sont Eunsol Choi, He He, Mohit Iyyer, Mark Yatskar, Wen-tau Yih, Yejin Choi, Percy Liang et Luke Zettlemoyer.

En somme, QuAC est un ensemble de données précieux pour la recherche en compréhension automatique. Ses dialogues basés sur des questions-réponses offrent une nouvelle perspective et des défis intéressants pour les chercheurs. Nous espérons que cette ressource sera utilisée par la communauté scientifique pour améliorer les performances des modèles de compréhension automatique dans le futur.