当前位置: 首页 > news >正文

网站建设询价公告竞价账户托管公司

网站建设询价公告,竞价账户托管公司,中英文网站建设需要懂英语吗,安徽省建设工程质量管理办法速览方法论 不太了解知识蒸馏的可以看这篇文章【KD开山之作】 本文的动机是“降低学生模型在各领域和老师模型的差异”。 在一些性能差异比较大的领域,ddk方法可以降低student模型的困惑度(PPL, Perplexity),提高学生模型在该领域的性能。 该篇文章的优…

速览方法论

不太了解知识蒸馏的可以看这篇文章【KD开山之作】

本文的动机是“降低学生模型在各领域和老师模型的差异”。

在一些性能差异比较大的领域,ddk方法可以降低student模型的困惑度(PPL, Perplexity),提高学生模型在该领域的性能。

该篇文章的优势在于,提高了student模型的泛用性,相较于当下的方法,student性能更加均衡。

Contributions

1)To the best of our knowledge, we are the first to study the influence of domain-specific data mixtures for distilling LLMs, and efficiently transfer the domain knowledge of the teacher network upon the domain weights.

首个研究特定领域知识混合对大模型知识蒸馏的影响,并基于领域权重对领域知识迁移

2)DDKproposes a factor smooth updating strategy to strategically enhance the appropriate focus of the distillation process on targeted domains, which effectively stabilizes the domain knowledge guided sampling process for smoother distillation.

领域知识权重是基于它提出的discrepancy factor(领域差异因子)。文章提出了一种平滑更新该因子的策略。

3)Extensive experiments on multiple benchmark datasets demonstrate the effectiveness and generalization ability of our proposed DDK.

在多个基准数据集上进行广泛实验验证方法的有效性。

Method

领域差异因子

简单说明一下,M 是模型,CE是交叉熵,Y是label,下标s,t表示student,teacher。

l是困惑度得分,将交叉熵得到的熵值通过exp放大,再通过Softmax获得在各领域上的分布。

这个r越大则差异越大。

平滑更新策略

第一项是因子的迭代公式,第二项是因子的基准线。

第二项用作者的话说就是 “为了防止出现过小的值,这样就能保证在不同领域进行数据采样时有一个基准概率,避免某些领域因为领域差异因子过小而几乎不被采样到数据的情况。”

谁没有斗公式的时候呢,哈哈

损失函数

对各领域的求和

第一项是输出的交叉熵,第二项是隐藏状态的KL散度(相对熵)

增加第二项的目的是近似学生模型和教师模型的分布

方法挺简单,但是人家实验用了16张A100 :)

这篇论文是alibaba发表的。一开始我看到使用的教师模型是7B左右的参数是有点疑惑的,但仔细想想其实这个研究方向就是大模型的轻量化,而从7B继续轻量化到1.5B并保持不错的效果,也就意味着大模型个人化的可能。

Appendix

http://www.cadmedia.cn/news/6861.html

相关文章:

  • 自己做网站建议关键词优化靠谱推荐
  • 政府网站建设工作存在的不足如何做免费网站推广
  • 宁德市住房和城乡建设局网站广州百度推广外包
  • 网站建设顺序百度快速排名技术培训教程
  • 求手机视频网站关键词优化的技巧
  • 个人备案的网站做企业内容百度竞价什么时候开始的
  • 上海市工程建设信息网怎样下载优化大师
  • 济南市建设委员会官方网站做个网页需要多少钱?
  • 岳阳seo官网优化用户体验
  • 湖南网站建设oqiandu业务推广网站
  • 工业网站建设永久免费客服系统软件
  • 招聘网站建设工作汇报搜索引擎优化的主要手段
  • 河北网站建设联系方式网络推广平台几大类
  • 中国最近的好消息网站seo快速
  • 网站设置黑白色网站怎么做
  • 长页在线制作网站企业培训机构排名
  • 苏省住房和城乡建设厅网站创建免费网站
  • 网站制作设计机构在线制作网站免费
  • 网站建设需要几个阶段网络营销方案3000字
  • 哈尔滨建站模板展示网页制作三大软件
  • 宁波网站建设xpckj百度数据库
  • 平台做网站点击百度产品
  • 网站视频链接惠州seo怎么做
  • 凡科网站怎么做淘宝客全国疫情最新数据
  • 西宁网站建设王道下拉惠优秀网页设计作品
  • 商城网站建设自助建站平台河北seo网络优化培训
  • 外贸网站建站k市场营销案例分析
  • 网站界面设计psseo网站推广多少钱
  • 网站建设做到哪些内容南京seo外包平台
  • 苏州在线网站制作深圳优化网站方法