最近在 LoongForge 上完成了 Pi0.5 的sft加速训练 
VLA 模型对我来说是一次陌生的尝试：3.5B 的模型、762 的序列长度，看上去用不了多少 trick。但是实际优化下来，发现可以细化的地方很多 
最终 bf16下吞吐做到 24.0 samples/s（社区2.63 倍），FP8 下吞吐达到 27.34 samples/s（社区3.00倍） 
1 冗余的256 序列长度：空相机 slot 裁剪
Pi0.5 的序列结构比较特殊，包含图像、文本指令和 action 三部分。为了理清 ViT 与主干 Attention 各自的计算负载，优化前先对各分支的序列长度做了下分解。 
按两路相机的 LIBERO 数据推算，图像（2×256）、指令与 action（50）拼起来的联合序列本应是 762，但实际debug出来的序列长度却是 1018，平白多出了 256 的无效 pad...