（来源：上观新闻）
订阅制本🦙🦊质上是👨👨👧👦🇫🇰在用“平🗃🔟均成本”覆盖这🚕种极不均衡的🕍🇧🇦使用🌠🥁。两款模型均采用M⏏🐗oE架构，🍪🤨也就是👻“混合专家模型🛴”💇♂️。有开发者认🇻🇬为，D🦌eepS🇹🇯⚛eek V4在🐯工程层面进行了多🍩🍰项技术创😽新，效率💀较前代成倍🇬🇵🥴提升——在百万📵🔹级调用场景下，⚫🃏单To📒ken推👨👩👧👦理算力消耗已降🕞👩🎤至V3.2的🎅🇨🇰27%，KV 🐷cach🔋e（键🎌值缓存，大模🌌🌟型推理🍩🇪🇷过程中👯♂️占用显存的主⛑👩🍳要部分之一）的🐮🇸🇧显存占用仅为原来👧的10%👨🔧🇪🇭。
这一行情的外溢效📌应也在向更广🌅泛的生态系统🧞♂️🕦蔓延🇰🇭🍆。基于昇🍵🇩🇿腾A3 6😓🏊4卡超节🧖♂️🇸🇿点的大EP（😷专家并行）部🌚🍩署模式下🙁，V4-F🛋las🌸h在8K输入🕉、1K输出场景下🇿🇦基于vLL🇹🇻🇮🇨M推理🔈引擎可实现2🕔000 TPS📅🚦以上的单卡De💥code吞吐💗。从那以后🏍，有新的框架🕠性突破吗？🤦♀️其实没有🔲🙃。
