Knowledge Distillation #知识蒸馏 。现在的很多小模型，本质是#大模型 用“自己造的数据 + 自己的思路”，教出来的轻量化学生。常见做法：纯蒸馏，数据生成+蒸馏（大模型先造新数据，再蒸馏），自蒸馏（小模型生成数据自己学习）。
来源：抖音 2026-03-27
猜你喜欢
00:07
蒸馏、量化、671B、满血版，大模型的这些名词都是什么意思
2025-12-29
2分钟速通大模型领域黑话之——蒸馏！ 聪明的模型，早就开始“拜师学艺”了！
这就是大模型蒸馏：让学生模型向老师模型“取经”，不仅轻巧，还能继承大模型的聪明才智。
本期视频带你搞懂蒸馏的原理和背后逻辑，揭开AI“传功秘籍”的神秘面纱！
#科普 #知识分享 #AI #每天跟我涨知识 #通义千问
2025-07-30
04:28
firecrawl配合n8n自动获取数据写入数据库或者表格 #数字造梦季 #数字造梦季 #AIGC #大模型 #aigc #人工智能 #爬虫 #n8n # - 小红书
2025-12-04
04:23
超越OpenAI，中国造医疗大模型登顶权威榜单
2026-02-20
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
00:30
上海大学(浙江)研究院李想：“轻量化”不止一条路今天，第十八届汽车轻量化大会在扬开幕。现场，上海大学(浙江)高端装备基础件材料研究院材料研发工程师李想介绍，他们此次带来了基于两种不同思路开发的产品，以实现“轻量化”的目标。(制作丨仲伟文袁征高明芳曹婷扬超工作室)轻量化大会
2025-09-18
