Résumé IA · arXiv: 2611.03985v1 · cs.AI
Thinking Fast, Trading Late: System One Decision Models vs the Market
L’essentiel
Dans un test préenregistré et aveugle, les modèles lisent les nouvelles financières mais ne prédisent pas de mouvement exploitable après l’ouverture et aucune stratégie ne résiste aux coûts.
Question
Les signaux tirés par des modèles de décision IA de nouvelles d’entreprises prédisent-ils les rendements lorsqu’on contrôle l’anticipation, la mémorisation et la sélection des résultats ? Peuvent-ils distinguer une réaction excessive d’une réaction insuffisante du marché ?
Méthode
Les auteurs appliquent le protocole OLIVIA à des nouvelles de sociétés du S&P 500, de juillet 2024 à juillet 2026, avec des états datés et masqués, une sélection limitée aux données de validation et un test de janvier à juillet 2026 dévoilé une seule fois après gel du plan. Ils comparent un modèle à poids ouverts affiné sur les données 2024–2025, trois modèles commerciaux et des références, en évaluant notamment les corrélations avec les rendements de nuit et après l’ouverture, les stratégies préenregistrées et l’identification des sociétés masquées.
Résultats
- Résultat Le signal du modèle affiné, positif sur les deux périodes de validation, diminue lors du test aveugle.
-
Résultat
Les modèles commerciaux sont associés au mouvement de nuit, mais pas au mouvement suivant l’ouverture, laissant peu de signal exploitable après l’entrée d’un trader à l’ouverture.
Voir le passage dans l’article
The commercial models’ readings line up with the overnight move to the open (information coefficient 0.074 to 0.077) but not with the move after it, so the news is priced by the time a trader can act on it at the open.
-
Résultat
Les tests ne montrent pas que les modèles distinguent les réactions excessives des réactions insuffisantes, et les signaux qualifiés de sous-réaction ne rattrapent pas leur retard.
Voir le passage dans l’article
In the pre-registered over/under regression the news coefficient is not positive (Laya-Fin $b=-0.044$, $p=0.62$), and the moves the models call underreactions never catch up.
-
Résultat
Aucune stratégie préenregistrée ne survit aux coûts et à l’ajustement du ratio de Sharpe pour les essais multiples.
Voir le passage dans l’article
No model can tell over- from under-reaction, and no pre-registered strategy survives costs and a deflated Sharpe ratio.
-
Résultat
Le masquage des noms ne garantit pas l’anonymat : les modèles commerciaux identifient souvent la société à partir du contenu des nouvelles.
Voir le passage dans l’article
Commercial models identify masked companies in 62% to 74% of cases against a 28% baseline: masking hides names, not companies.
Limites
- L’étude porte sur les grandes sociétés du S&P 500 et ne permet pas de conclure sur les petites entreprises.
Voir le passage dans l’article
The sample is the S&P 500, the largest and most closely followed US stocks; smaller stocks, where news may diffuse more slowly (Hong et al., 2000), may behave differently.
- La période de test est courte et les auteurs indiquent que cela rend difficile la détection de petits effets.
Voir le passage dans l’article
The test period is seven months long (140 sessions with D0 events), so small ICs are hard to detect, and the selection rested on two validation quarters of 59 sessions each.
- Les résultats des modèles commerciaux ne peuvent être séparés avec certitude d’un éventuel effet de contamination, car ils ont échoué aux tests de contamination et leurs données d’entraînement sont inconnues.
Voir le passage dans l’article
The commercial models failed the pre-registered screens and were released after the sample, so contamination cannot be ruled out.
Portée
Les auteurs proposent OLIVIA comme protocole de contrôle des biais de rétrospection, de mémorisation et de sélection dans les tests de modèles de langage appliqués aux nouvelles financières. Ils soulignent que les rendements doivent être décomposés à l’ouverture et recommandent de mesurer la reconnaissance des sociétés masquées, de geler le plan d’analyse et de comptabiliser les essais.
Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.
Posez des questions sur cet article à notre assistant IA
Comment discuter avec cet article ? Guide illustré
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Gardez cette conversation — un compte gratuit conserve vos questions et réponses, vos collections d’articles et vos alertes.
Continuer avec Google Créer un compte gratuitOutils pour cet article
Outils avancés Premium
Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium
Les articles autour de celui-ci
Les voir sur une carteClassés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.
Les articles les plus proches
-
Trader-Company Method: A Metaheuristic for Interpretable Stock Price PredictionKatsuya Ito, Kentaro Minami, Kentaro Imajo et al. · 2020 · Trading and Market Microstructure · cité 16 fois · Résumé IA disponible
Trader-Company Method prédit les cours boursiers par métaheuristique interprétable, tandis que cet article teste si des signaux de modèles de décision prédisent les rendements.
Résumé scientifique
Investors try to predict returns of financial assets to make successful investment. Many quantitative analysts have used machine learning-based methods to find unknown profitable market rules from large amounts of market data. However, there are several challenges in financial markets hindering practical applications of machine learning-based models. First, in financial markets, there is no single model that can consistently make accurate prediction because traders in markets quickly adapt to newly available information. Instead, there are a number of ephemeral and partially correct models called "alpha factors". Second, since financial markets are highly uncertain, ensuring interpretability…
-
From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock MarketsTao-Jie Zhu, Wen-Tao Zhao, Rui Sun et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 14 fois · Pas encore résumé
KTD-Fin évalue si des agents LLM peuvent réussir en bourse tout en contrôlant la mémorisation et les biais d’évaluation, comme cet article.
Résumé scientifique
Evaluating whether large language model (LLM) agents can profit in capital markets is increasingly framed as end-to-end trading: place an agent in a historical market, let it trade, and measure portfolio returns. This setup is vulnerable to two evaluation failures. First, long backtests often overlap with the knowledge cutoffs of frontier LLMs, allowing memorized tickers, dates, prices, and market narratives to substitute for investment reasoning. Second, raw returns are a noisy proxy for stock-selection ability, since positive performance may come from market beta, style exposure, or favorable regimes rather than genuine alpha. We introduce KTD-Fin (Knowing-To-Doing Financial Benchmark), an…
-
Learning to Trade Like an Expert: Cognitive Fine-Tuning for Stable Financial Reasoning in Language ModelsYuchen Pan, S. Liew · 2026 · arXiv.org · preprint, non relu par les pairs · Pas encore résumé
Learning to Trade Like an Expert entraîne des modèles de langage par ajustement cognitif pour le raisonnement financier, tandis que cet article affine un modèle sur des nouvelles boursières.
Résumé scientifique
Recent deployments of large language models (LLMs) as autonomous trading agents raise questions about whether financial decision-making competence generalizes beyond specific market patterns and how it should be trained and evaluated in noisy markets lacking ground truth. We propose a structured framework for training and evaluating such models. Central to our approach is a curated, multiple-choice question (MCQ) dataset derived from classic textbooks and historical markets, verified by an AI committee, enriched with structured reasoning traces, and augmented to reduce shortcut learning. To evaluate whether performance on isolated MCQs generalizes to real-world trading, we introduce a two-st…
-
Going All-In on LLM Accuracy: Fake Prediction Markets, Real Confidence SignalsMichael Todasco · 2025 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé
Going All-In teste si un marché prédictif fictif améliore les prévisions de modèles sur des questions de mathématiques et de logique, plutôt que des rendements boursiers.
Résumé scientifique
Large language models are increasingly used to evaluate other models, yet these judgments typically lack any representation of confidence. This pilot study tests whether framing an evaluation task as a betting game (a fictional prediction market with its own LLM currency) improves forecasting accuracy and surfaces calibrated confidence signals. We generated 100 math and logic questions with verifiable answers. Six Baseline models (three current-generation, three prior-generation) answered all items. Three Predictor models then forecasted, for each question-baseline pair, if the baseline would answer correctly. Each predictor completed matched runs in two conditions: Control (simple correct/i…
-
StockBench: Can LLM Agents Trade Stocks Profitably In Real-world Markets?Yanxu Chen, Zijun Yao, Yantao Liu et al. · 2025 · Machine Learning · preprint, non relu par les pairs · cité 49 fois · Résumé IA disponible
StockBench évalue si des agents LLM peuvent négocier des actions avec profit dans des marchés réalistes, question proche du test de prédictibilité des rendements.
Résumé scientifique
Large language models (LLMs) have recently demonstrated strong capabilities as autonomous agents, showing promise in reasoning, tool use, and sequential decision-making. While prior benchmarks have evaluated LLM agents in domains such as software engineering and scientific discovery, the finance domain remains underexplored, despite its direct relevance to economic value and high-stakes decision-making. Existing financial benchmarks primarily test static knowledge through question answering, but they fall short of capturing the dynamic and iterative nature of trading. To address this gap, we introduce StockBench, a contamination-free benchmark designed to evaluate LLM agents in realistic, mu…
-
Can LLM-based Financial Investing Strategies Outperform the Market in Long Run?Weixian Waylon Li, Hyeonjun Kim, Mihai Cucuringu et al. · 2025 · Knowledge Discovery and Data Mining · cité 32 fois · Pas encore résumé
FINSABER teste la robustesse des stratégies d’investissement fondées sur les LLM sur de longues périodes et de nombreux titres, comme cet article teste leur prédictibilité.
Résumé scientifique
Large Language Models (LLMs) have recently been leveraged for asset pricing and stock trading applications, enabling AI agents to generate investment decisions from unstructured financial data. However, most evaluations of LLM timing-based investing strategies are conducted on narrow timeframes and limited stock universes, overstating effectiveness due to survivorship and data-snooping biases. We critically assess their generalizability and robustness by proposing FINSABER, a backtesting framework evaluating timing-based strategies across longer periods and a larger universe of symbols. Systematic backtests over two decades and 100+ symbols reveal that previously reported LLM advantages dete…
-
AlphaForgeBench: Benchmarking End-to-End Trading Strategy Design with Large Language ModelsWen-Tao Zhang, Ming-Xuan Zhao, Jin-Cheng Gao et al. · 2026 · Knowledge Discovery and Data Mining · cité 6 fois · Pas encore résumé
AlphaForgeBench évalue la conception de stratégies de négociation par LLM et leur instabilité, tandis que cet article teste des stratégies préenregistrées issues de signaux de modèles.
Résumé scientifique
The rapid advancement of Large Language Models (LLMs) has catalyzed the proliferation of diverse financial benchmarks, progressively evolving from static knowledge evaluation to increasingly sophisticated interactive trading simulations. Nevertheless, existing frameworks that assess real-time trading performance largely overlook a fundamental failure mode: the severe behavioral instability exhibited by LLMs in sequential decision-making under financial uncertainty. Through extensive empirical investigation, we demonstrate that when deployed as direct trading agents, LLMs manifest extreme run-to-run variance, produce inconsistent action sequences even under strictly deterministic decoding con…
-
Reflexivity as Prompt: Does Awareness of Self-Reinforcing Market Dynamics Improve LLMs as Financial Market Forecasters?Eugene W Park · 2026 · Pas encore résumé
Reflexivity as Prompt examine les prévisions financières de LLM pendant des cycles historiques, tandis que cet article teste leurs signaux sur les nouvelles d’entreprises.
Résumé scientifique
We study how frontier large language models (LLMs) behave as financial forecasters during boom-bust market cycles when made progressively aware of Soros's theory of reflexivity. Standard AI-assisted forecasting treats the market as an exogenous system. Reflexivity theory holds otherwise: prices shape fundamentals, and every forecaster is a participative agent in the loop it analyzes. We evaluate three frontier models - GPT5, Claude Sonnet 4.6, and Gemini 3 Pro - under four accumulating zero-shot conditions across two historically distinct episodes: the dot-com bubble (1996-2001) and the global financial crisis (2004-2009). The primary metric is directional forecasting accuracy; we also repor…
Les travaux antérieurs sur lesquels il s’appuie
-
Pervasive underreaction: Evidence from high-frequency dataHao Jiang, Sophia Zhengzi Li, Hao Wang · 2020 · Journal of Financial Economics · cité 42 fois · Pas encore résumé
Pervasive underreaction mesure la dérive des cours après des nouvelles d’entreprises, un résultat de marché que cet article confronte aux signaux des modèles.
Résumé scientifique
We propose a novel high-frequency decomposition of daily stock returns into news- and non-news-driven components. With it, we uncover evidence of pervasive stock market underreaction to firm news, in the post-millennium period when stocks appear to be priced with increased efficiency. We show that stock prices tend to drift in the same direction as the initial market response, for several days after the news arrival without reversals. A trading strategy exploiting the return drift generates a monthly return of 2.10% after trading costs. To understand the economic mechanism, we find that the return drift is stronger when investors are distracted. Using analyst earnings forecasts as a proxy, w…
-
Approaching Human-Level Forecasting with Language ModelsDanny Halawi, Fred Zhang, Chen Yueh-Han et al. · 2024 · Machine Learning · cité 165 fois · Résumé IA disponible
Approaching Human-Level Forecasting évalue des prévisions de modèles sur des événements publiés après leurs dates limites de connaissances, un enjeu également abordé ici.
Résumé scientifique
Forecasting future events is important for policy and decision making. In this work, we study whether language models (LMs) can forecast at the level of competitive human forecasters. Towards this goal, we develop a retrieval-augmented LM system designed to automatically search for relevant information, generate forecasts, and aggregate predictions. To facilitate our study, we collect a large dataset of questions from competitive forecasting platforms. Under a test set published after the knowledge cut-offs of our LMs, we evaluate the end-to-end performance of our system against the aggregates of human forecasts. On average, the system nears the crowd aggregate of competitive forecasters, an…
-
Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Match Human Crowd AccuracyPhilipp Schoenegger, Indre Tuminauskaite, Peter S. Park et al. · 2024 · Computers and Society · cité 131 fois · Résumé IA disponible
Wisdom of the Silicon Crowd compare des prévisions agrégées de LLM à celles d’une foule humaine, dans le domaine des capacités prédictives évaluées ici.
Résumé scientifique
Human forecasting accuracy in practice relies on the 'wisdom of the crowd' effect, in which predictions about future events are significantly improved by aggregating across a crowd of individual forecasters. Past work on the forecasting ability of large language models (LLMs) suggests that frontier LLMs, as individual forecasters, underperform compared to the gold standard of a human crowd forecasting tournament aggregate. In Study 1, we expand this research by using an LLM ensemble approach consisting of a crowd of twelve LLMs. We compare the aggregated LLM predictions on 31 binary questions to that of a crowd of 925 human forecasters from a three-month forecasting tournament. Our main anal…
-
The Memorization Problem: Can We Trust LLMs'Economic Forecasts?Alejandro Lopez-Lira, Yue-Hua Tang, Ming Zhu · 2025 · cité 50 fois · Pas encore résumé
The Memorization Problem montre que les LLM peuvent mémoriser des données financières et reconstruire des entités masquées, risques que le protocole OLIVIA contrôle.
Résumé scientifique
Large language models (LLMs) cannot be trusted for economic forecasts during periods covered by their training data. Counterfactual forecasting ability is non-identified when the model has seen the realized values: any observed output is consistent with both genuine skill and memorization. Any evidence of memorization represents only a lower bound on encoded knowledge. We demonstrate LLMs have memorized economic and financial data, recalling exact values before their knowledge cutoff. Instructions to respect historical boundaries fail to prevent recall-level accuracy, and masking fails as LLMs reconstruct entities and dates from minimal context. Post-cutoff, we observe no recall. Memorizatio…
-
Information, Trading, and Volatility: Evidence from Firm-Specific NewsJ. Boudoukh, Ronen Feldman, Shimon Kogan et al. · 2018 · The Review of financial studies · cité 152 fois · Pas encore résumé
Information, Trading, and Volatility mesure le rôle des nouvelles d’entreprises dans la volatilité boursière, objet des signaux étudiés dans cet article.
Résumé scientifique
What moves stock prices? Prior literature concludes that the revelation of private information through trading, and not public news, is the primary driver. We revisit the question by using textual analysis to identify fundamental information in news. We find that this information accounts for 49.6% of overnight idiosyncratic volatility (vs. 12.4% during trading hours), with a considerable fraction due to days with multiple news types. We use our measure of public information arrival to reinvestigate two important contributions in the literature related to individual R2s of stock returns on aggregate factors. (JEL G14)
Aller plus loin
Comment ces articles sont-ils trouvés ?
Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.
Mis à jour le 9 novembre 2026.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.