MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding
Jian Chen, Vashisth Tiwari, Ranajoy Sadhukhan, Zhuoming Chen, Jinyuan Shi, Ian En-Hsu Yen et al. · arXiv: 2408.11049v3 · Page du résumé
Un dossier de presse pour chaque article : arXiv, revues et prépublications. Ce qui est vraiment nouveau, un détecteur de hype (relecture par les pairs, taille de l'échantillon, affirmations qui dépassent les résultats), des phrases clés citées mot pour mot, des questions à poser aux auteurs, des chercheurs qui travaillent sur le même sujet sans avoir signé l'article, et un glossaire.