AI
学习博主
探索
投稿
猛
猛猿
📘
待查
收藏
访问主页
内容标签
大模型训练
分布式训练
模型并行
图解AI
简介
大模型训练与推理技术博主,图解大模型系列作者
进阶
·
图文
代表作
1.
图解大模型训练之:数据并行上篇(DP, DDP与ZeRO)
2.
图解大模型训练之:张量模型并行(TP),Megatron-LM
3.
图解大模型训练之:流水线并行(Pipeline Parallelism)
评价与评论
点击评分
发布
相似推荐
何
何枝
📘
1.7万
前字节AI-Lab NLP工程师,电子科技大学硕士,RLHF领域专家
RLHF
大模型训练
强化学习
NLP
进阶
·
图文