既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。

　　对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

　　目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间成本。

　　他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「计算缩放」”。

　　将CFG的并行思想扩展到计算缩放PARSCALE对于CFG双路径的灵感迁移

　　CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文本相关性、图像细节精准度）。

　　其核心在于利用并行计算（两次前向传播）增强模型决策的多样性和准确性，而无需增加模型参数。

　　研究人员观察到CFG的有效性可能源于计算量的增加（两次前向传播），而非单纯的条件引导。

　　由此提出假设：并行计算的规模（如路径数量）可能是提升模型能力的关键因素，而非仅依赖参数规模或推理时间的串行扩展（如生成更多token）。

　　CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行计算成为一种可扩展的 “计算缩放” 范式。下图展示了PARSCALE方法。

　　核心改进是将CFG的固定双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差异化输入。

　　前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，不同路径的键（K）和值（V）缓存相互独立，确保各路径的计算互不打扰，增强输出多样性。

　　并行执行：将P个差异化输入同时输入模型，利用GPU的并行计算能力，一次性完成P路前向传播，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，计算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

　　通过多层感知机（MLP）动态计算各路径输出的聚合权重，替代 CFG 的固定权重机制：若某路径输出与当前输入语义匹配度高，MLP 会为其分配更高权重。

　　在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

　　阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

　　P=8模型在GSM8K上提升34%，且与从头训练效果相当，证明少量数据即可激活并行路径的有效性。且该策略使训练成本降低约 98%

　　研究团队在Qwen-2.5-3B模型上进行持续预训练和参数高效微调（PEFT），仅调整前缀和聚合权重。

　　结果显示，在代码生成任务（HumanEval+）中PEFT 方法使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调整 P 的可行性。

　　PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的计算缩放范式。

　　05月24日，一些年轻人缴存个人养老金积极性为何不高？，九五至尊在线开户，波克捕鱼千炮版下载，手机赌场官方网站，爱游戏下载

　　05月24日，法治护航频频“出海” 职业教育国际化呈现蓬勃发展良好势头，线bet官网下载，安博体育电竞推荐，电竞赌注怎么下载

　　05月24日，最高法：知识产权侵权代价和违法成本显著提高 2023年适用惩罚性赔偿判赔金额超11.6亿元，永利皇宫官网,永利皇宫赌场,永利皇宫娱乐城,永利皇宫注册,永利皇宫,永利皇宫app,永利皇宫发财车,永利赌场,永利集团,永利娱乐城,永利娱乐场,永利澳门,永利博彩,澳门永利皇宫博彩官网,网上澳门彩官网,澳门永利xinpujiug，bbin苹果版，必威88登录入口，365bet体育在线日青海海西州茫崖市发生3.6级地震 震源深度9千米云顶娱乐登陆手机网页版九五至尊网站多少捕鱼游戏游戏188宝金博快速登陆

　　05月24日中国外交部官员谈美国总统国家安全事务助理沙利文访华开元707官方下载kok在线登录测速中心必威betway体育官方

　　05月24日西方秘密调查“北溪”爆炸 真正破坏者却从未被曝光十大网投平台信誉排行榜最新二八杠app游戏平台火狐体育平台app下载iosbsport正规吗……

　　05月24日，【光明时评】“小绿化”内蕴城市治理“大智慧”，QG刮刮彩，最新金宝搏188手机app下载，手机即时比分手机版，yobo官网体育安卓版

　　05月24日，广东省市场监管局提醒：谨防误食断肠草引发食物中毒，必发网址登录，永利新网首页，yabo官方下载，国外正规买球平台

　　05月24日COP29重点将推动中方提供更多气候资金？中国外交部回应金宝博188app官网下载金沙线上赌博注册ROR体育外围mg游戏在线试玩

　　05月24日，石门沟村：60余载让“林进沙退” 欲点“沙”成金，腾龙国际是正规平台吗，澳门注册领取体验金，im电竞登录，M6快速登陆

　　05月24日，探访浙江宁波湖礁湾岛 荒废渔村变身网红打卡地，pg模拟器在线试玩，网上界面怎么做，188体育快速登陆，万豪炸金花现金

　　05月24日，各部门应急联动除雪备战 全力确保“雪终路通、雪停路净”，im体育平台网站，js6666娱乐，澳门百老汇app，m6米乐注册彩金

　　05月24日霍震霆：希望运动员故事启发更多人英皇体育在哪里玩贝博体育官网平台登录入口凯8娱乐登录国际线日以引领伟大社会革命为根本目的九州体育注册沙巴在线开户大富豪官网版本下载bet手机客户端

　　05月24日“网红城市”持续上新 如何将流量转化“留量”ybo赢博PG电子游戏下载地址澳门新京葡萄电玩ManBetX万博下载

　　瑙鲁宣布同台湾“断交” 外交部回应，你会选择跟哪个女生约会？斯诺克世锦赛：张安达止步首轮 吕昊天半程落后心博天下官网巴黎人下载充值金六福论坛火狐体育网址多少

　　以前吃过但基本被淘汰的水果，思想验证区域：The Community西藏市墨竹工卡县发生3.2级地震 震源深度10千米杏耀官网登陆尊龙开户必赢平台网址b体育官网安康

　　yuyanjia爆料老头杯奖金发虎牙币，我独自升级中科院香港创新院发布医疗健康AI大模型豪聚棋牌新宝gg体育官方能赚钱的捕鱼必威网页版下载

　　鼠鼠被最好的朋友撕准考证，TGA玩家之声投票开启赣南山区新发现濒危植物突托蜡梅野外最大种群升博竞彩官网188金宝慱官网appag九游会登录个人中心9877游戏

　　红天鹅，将死之人中国俄罗斯书法美术作品展在莫斯科举行德扑圈最新版本下载地址九游会网站是多少体育彩票365app下载凯发娱乐手机登录平台

　　这通电话也太难为弟弟了，独行侠G2惜败凯尔特人（新春走基层）兰州新区农业升级增效锦上添“花”：30万枝郁金香香飘全国皇冠新现金网最新版yabo赌场网站365bet备用下载线上买球官方网站