MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding
Jian Chen, Vashisth Tiwari, Ranajoy Sadhukhan, Zhuoming Chen, Jinyuan Shi, Ian En-Hsu Yen et al. · arXiv: 2408.11049v3 · Page du résumé
Votre présentation de journal club, prête en une minute. Une dizaine de slides avec les figures de l'article quand sa licence le permet, ce qu'il faut dire sur chacune, les points forts et les limites de l'article, et des questions pour lancer la discussion. Présentez-la en plein écran ou enregistrez-la en PDF.