斯坦福Percy Liang 的 Marin 项目

• 从头开始训练Marin 535B-A23B（535B 总参数、23B 激活参数的 MoE）pretraining 80% + midtraining 20%，共 18.75T tokens，全程公开
• 项目主页 / blog：https://marin.community
• GitHub（所有实验、配置、issue）：https://github.com/marin-community
• W&B 直播 loss 曲线：wandb.ai/marin-community