Nous soutenons que l'apprentissage du langage humain diffère de celui des approches actuelles de formation des LLM, ce qui peut entraîner des biais d'apprentissage. Nous présentons des preuves de la formation du pluriel allemand par les LLM qui confirment notre hypothèse selon laquelle même les implémentations les plus puissantes négligent certains aspects logiques inhérents au langage compris facilement par les humains. Une attention aux différentes structures linguistiques et aux réseaux neuronaux artificiels pourrait améliorer les performances des LLM. Les approches actuelles reposent sur l'apprentissage par renforcement avec des exercices mathématiques et logiques (DeepSeek-AI, 2025), ce qui améliore les performances dans les tâches nécessitant un raisonnement logique explicite. Cependant, le raisonnement implicite détecté chez les enfants de deux ans lorsqu'ils reconnaissent spontanément la relation entre "avec" et "sans" n'est pas pris en compte dans ces méthodes. Modéliser explicitement ces relations pourrait aider mais ne suffit probablement pas. La collaboration entre informaticiens, linguistes et scientifiques cognitifs pourrait conduire à de nouvelles idées pour améliorer davantage les LLM. Nous soutenons que cette volonté humaine de capturer une relation logique n'est pas présente dans les LLM avec une structure en couches stricte comme nous l'avons argumenté précédemment. Avec suffisamment d'entrées, les LLM peuvent apprendre la relation antonymique entre "mit" et "ohne" aussi bien que celle entre "avec" et "sans". Cependant, pour différentes propriétés linguistiques, la difficulté relative d'apprentissage des relations logiques entraîne une performance sous-humaine. Nous nous concentrons sur la formation des pluriels nominaux en allemand qui repose sur plusieurs classes de noms déterminées par des critères phonologiques et sémantiques, ainsi qu'un défaut. Utiliser un défaut nécessite une négation logique - si un nom ne correspond à aucune autre classe, il appartient à la classe par défaut. Nous avons adopté une tâche provenant de (Marcus ...) pour illustrer cela. Deux analyses montrent que lorsque nous examinons ces propriétés linguistiques spécifiques, il devient évident que certaines méthodes traditionnelles utilisées pour former les modèles linguistiques sont insuffisantes pour capturer pleinement ces nuances subtiles du langage humain. En conclusion, notre recherche met en lumière l'importance de comprendre en profondeur les différences fondamentales entre l'apprentissage du langage humain et celui des réseaux neuronaux artificiels afin d'améliorer significativement les performances des modèles linguistiques basés sur l'intelligence artificielle.
- L'apprentissage du langage humain diffère de celui des approches actuelles de formation des LLM, entraînant des biais d'apprentissage.
- Les preuves de la formation du pluriel allemand par les LLM confirment que certaines implémentations négligent des aspects logiques compris facilement par les humains.
- Une attention aux différentes structures linguistiques et aux réseaux neuronaux artificiels pourrait améliorer les performances des LLM.
- Les approches actuelles reposent sur l'apprentissage par renforcement avec des exercices mathématiques et logiques, améliorant les performances dans les tâches nécessitant un raisonnement logique explicite.
- Le raisonnement implicite détecté chez les enfants n'est pas pris en compte dans ces méthodes, ce qui souligne le besoin de modéliser explicitement ces relations pour améliorer davantage les LLM.
- La collaboration entre informaticiens, linguistes et scientifiques cognitifs peut conduire à de nouvelles idées pour améliorer les modèles linguistiques basés sur l'intelligence artificielle.
Summary- Learning human language is different from how current LLM training works, which can lead to learning biases.
- Evidence of German plural formation by LLMs shows that some implementations overlook logical aspects easily understood by humans.
- Paying attention to different language structures and artificial neural networks could enhance LLM performance.
- Current approaches rely on reinforcement learning with math and logic exercises, improving performance in tasks requiring explicit logical reasoning.
- Implicit reasoning found in children is not considered in these methods, highlighting the need to explicitly model these relationships for further improving LLMs.
- Collaboration among computer scientists, linguists, and cognitive scientists can lead to new ideas for enhancing AI-based language models.
Definitions- Language: A system of communication used by humans through speech or writing.
- Bias: Inclination or prejudice towards a particular perspective or idea.
- Neural networks: Computer systems inspired by the structure of the human brain that can learn and make decisions based on data input.
- Reinforcement learning: A type of machine learning where algorithms learn through trial and error using rewards or punishments for their actions.
- Logical reasoning: Thinking process that follows a sequence of steps based on facts and rules to arrive at a conclusion.
Nous soutenons que l'apprentissage du langage humain diffère de celui des approches actuelles de formation des LLM, ce qui peut entraîner des biais d'apprentissage. Dans cet article, nous présentons une recherche qui met en évidence ces différences fondamentales et propose des pistes pour améliorer les performances des modèles linguistiques basés sur l'intelligence artificielle.
Tout d'abord, nous soulignons que même les implémentations les plus puissantes négligent certains aspects logiques inhérents au langage compris facilement par les humains. Les approches actuelles reposent sur l'apprentissage par renforcement avec des exercices mathématiques et logiques (DeepSeek-AI, 2025), ce qui améliore les performances dans les tâches nécessitant un raisonnement logique explicite. Cependant, le raisonnement implicite détecté chez les enfants de deux ans lorsqu'ils reconnaissent spontanément la relation entre "avec" et "sans" n'est pas pris en compte dans ces méthodes.
Pour remédier à cela, il est essentiel de prendre en compte différentes structures linguistiques et d'adapter les réseaux neuronaux artificiels en conséquence. Une collaboration entre informaticiens, linguistes et scientifiques cognitifs pourrait conduire à de nouvelles idées pour améliorer davantage les LLM.
Notre recherche se concentre spécifiquement sur la formation des pluriels nominaux en allemand. Nous montrons comment cette tâche repose sur plusieurs classes de noms déterminées par des critères phonologiques et sémantiques ainsi qu'un défaut. Utiliser un défaut nécessite une négation logique - si un nom ne correspond à aucune autre classe, il appartient à la classe par défaut. Nous avons adopté une tâche provenant de (Marcus ...) pour illustrer cela.
Deux analyses montrent que lorsque nous examinons ces propriétés linguistiques spécifiques, il devient évident que certaines méthodes traditionnelles utilisées pour former les modèles linguistiques sont insuffisantes pour capturer pleinement ces nuances subtiles du langage humain. En effet, avec suffisamment d'entrées, les LLM peuvent apprendre la relation antonymique entre "mit" et "ohne" aussi bien que celle entre "avec" et "sans". Cependant, pour différentes propriétés linguistiques, la difficulté relative d'apprentissage des relations logiques entraîne une performance sous-humaine.
En conclusion, notre recherche met en lumière l'importance de comprendre en profondeur les différences fondamentales entre l'apprentissage du langage humain et celui des réseaux neuronaux artificiels afin d'améliorer significativement les performances des modèles linguistiques basés sur l'intelligence artificielle. Il est essentiel de prendre en compte les spécificités du langage humain dans la formation des LLM afin de mieux refléter le fonctionnement naturel du cerveau humain et ainsi améliorer leur efficacité dans diverses tâches linguistiques.
