Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering

Zhenwei Shao; Zhou Yu; Meng Wang; Jun Yu

Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering

Auteurs : Zhenwei Shao, Zhou Yu, Meng Wang, Jun Yu

arXiv: 2303.01903v1 - DOI (cs.CV)

Accepted at CVPR 2023, code available at https://github.com/MILVLG/prophet

Licence : CC BY 4.0

Résultats du processus de synthèse de l'article arXiv : 2303.01903v1

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance. Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse. Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité. Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%. Nous soutenons que cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche.

Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance.
Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse.
Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité.
Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%.
Cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche.

Summary: Prophet est un outil qui aide à améliorer la performance d'un modèle appelé VQA en utilisant des astuces basées sur la connaissance. Il utilise deux types d'astuces pour aider le modèle à mieux comprendre la tâche et à prédire les réponses avec plus de précision. Les résultats montrent que Prophet est meilleur que toutes les autres méthodes existantes pour cette tâche. Cette approche fournit plus d'informations spécifiques à la tâche, ce qui permet une meilleure prédiction des réponses. Definitions: - Modèle VQA : Un modèle informatique qui peut répondre aux questions posées sur une image. - Astuces : Des techniques ou des connaissances spéciales utilisées pour résoudre un problème. - Précision : La mesure de l'exactitude d'une réponse par rapport à la question posée. Résumé Prophet est un outil informatique qui aide un autre outil appelé "Modèle VQA" à mieux répondre aux questions posées sur une image en utilisant des astuces basées sur la connaissance. Ces astuces sont codées dans l'outil afin qu'il puisse mieux comprendre la tâche et améliorer sa capacité de réponse.

: Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance. Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse. Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité. Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%. Nous soutenons que cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche. Prophet est un cadre conçu pour améliorer les performances du modèle VQA (Question/Réponse Visuelle) classique en utilisant des heuristiques basés sur la connaissance pour obtenir des réponses. Il extrait deux types différents d'heuristiques complétant le modèle VQA classique : candidats possibles pour une réponse et exemples conscients qui peuvent servir à trouver une bonne solution. Ces informations sont ensuite codifiés dans l’invitation afin que GPT-3 puisse mieux comprendre ce qu’on attend de lui et ainsi améliorer sa capacité à fournir une bonne solution. Les résultats montrent que Prophet dépassent largement toutes les autres mises en œuvres existantes sur OK-VQA (61,1%) et A-OKVQA (55,7%). Nous pensons donc que cette approche permet une meilleure prise en compte des demandes car elle offre plus d’information spécifique à chaque problème poser.

Créé le 15 Mar. 2023

Mots clés générés par l'IA : Prophet VQA GPT-3 Heuristiques Connaissance

Points clés générés par l'IA

Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance.
Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse.
Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité.
Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%.
Cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Résumé : Knowledge-based visual question answering (VQA) requires external knowledge beyond the image to answer the question. Early studies retrieve required knowledge from explicit knowledge bases (KBs), which often introduces irrelevant information to the question, hence restricting the performance of their models. Recent works have sought to use a large language model (i.e., GPT-3) as an implicit knowledge engine to acquire the necessary knowledge for answering. Despite the encouraging results achieved by these methods, we argue that they have not fully activated the capacity of GPT-3 as the provided input information is insufficient. In this paper, we present Prophet -- a conceptually simple framework designed to prompt GPT-3 with answer heuristics for knowledge-based VQA. Specifically, we first train a vanilla VQA model on a specific knowledge-based VQA dataset without external knowledge. After that, we extract two types of complementary answer heuristics from the model: answer candidates and answer-aware examples. Finally, the two types of answer heuristics are encoded into the prompts to enable GPT-3 to better comprehend the task thus enhancing its capacity. Prophet significantly outperforms all existing state-of-the-art methods on two challenging knowledge-based VQA datasets, OK-VQA and A-OKVQA, delivering 61.1% and 55.7% accuracies on their testing sets, respectively.

Soumis à arXiv le 03 Mar. 2023

Citer cet article (BibTeX)

Outils pour cet article

Expliquer autrement 3 réécritures gratuites restantes aujourd'hui

Enregistrer dans une collection Connectez-vous pour enregistrer des articles dans des collections

Exporter BibTeX · RIS (Zotero, Mendeley, EndNote) · Markdown (Notion, Obsidian) · Premium

Alertes de citation Premium

Journal club Des slides pour le présenter Premium

Versions Ce qui a changé entre les versions Premium

Pour les journalistes Kit presse et détecteur de hype Premium

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.