llm预训练
RT @NFT_Chen: 🔥炸了!智谱创始人唐杰教授今晚清华授课硬核揭秘了以往GLM模型的数据配方,暗示 GLM 5.5 绝对将掀起开源模型新高度!
唐杰一句话定调:数据配方是我们预训练人员的命!
六源六scaling问题直接摊开:
🔹Web:1T pages(日爬百亿级)
🔹Documents:2B + GLM-OCR
🔹Books:50M(质量筛选+版面重排)
🔹Code:500M repos(可执行+测试)
🔹Video:10B(世界知识+长序列)
🔹Audio:300M小时(ASR迭代重写→数万亿token)
每一路都是独立工程地狱。
最新配比暂不公开,但早期配方已经能看出来智谱有多在乎数据。
GLM 5.5如果真的按这个路子继续卷数据和后训练,国产基座又要再上一个台阶了。
#智谱 #GLM #唐杰 #GLM55 #清华 #大模型 #数据配方 #预训练 #开源大模型