StarVLA 这段时间以来 • Axi's Blog

前言#

虽然一直以来笔者一直在发表关于仿真相关的内容，不过尚且也算是 StarVLA 的贡献者之一。

从去年（甚至说前年）开始，伦哥一直带领大家做 InternVLA-M1，主要的 coder 主力是 jinhui 以及 fangjing，而我在为 InternVLA-M1 搭建配套的 Simulation Infra，后续包括 junqiu, bolun 以及 yangkun 都算是参与到了整体的项目中，而 jinyu 为我提供了很多的支持。后来在若干的 struggle 之后，InternVLA-M1 得以问世，我们注意到这套本身的 Codebase 在设计之初就已经相当可以复用，并且十分灵活，因此诞生了搭建 starVLA 的想法。

StarVLA 本身抽身于 InternVLA-M1 的 codebase，我们将其中的大多数的 feature 保留，并且进行了完整的重构。早在搭建 InternVLA-M1 之初，我们就发现单纯使用 VLM，只要整体的 training infra 没有 bugs，并且设计相对合理，只用 Qwen-VL 的 VL 预训练，模型就可以有相当不错的效果。这也就诞生了后续基于 Qwen 的一系列 StarVLA Family，比如说 QwenOFT, QwenPi, QwenGR00t, QwenFast。更进一步地，StarVLA 意图做到好用，对于大多数 Model Architecture 的 Designer，你不需要在意 Trainer, Dataloader 以及 Benchmark，这些东西全部都是准备好的，而你只需要模块化地搭建自己的模型，之后训练以及测试，享受我们的 Infra。

StarVLA 的发展#

从 StarVLA 推出开始，我们从来没有主动进行过大规模的宣传，不过还是很高兴看到，在这个浮躁且充斥着各种信息的世界中，依旧存在着酒香不怕巷子深的道理。在社区的大家的口口相传中，StarVLA 拥有了超过 1.5K 的 Star 以及超过 100 的 Fork。我们也很开心地见到很多的大厂, startup 以及实验室正在基于 StarVLA 搭建自己的 VLA Model，虽然有一些似乎没有 acknowledge 我们，但是还是很高兴大家可以一起共建一个更好的 VLA 开源社区。

在大家都在具身 VLA 的浪潮中狂奔的时候，StarVLA 稍微沉淀了一会，我们逐渐适配了市面上绝大多数的 Benchmarks，比如说 Libero, Simpler, Robocasa-GR1, RoboTwin 2.0, Calvin 以及前不久的 BEHAVIOR，同样我们看到很多的地方在使用 StarVLA 进行真机，比如说 RoboChallenge 也有不错的结果。我们欣慰地发现，From Scratch 的 StarVLA Family 可以在任何 Benchmark 以及部署中取得相当亮眼的成绩，这对于绝大多数的实验室或者公司来说都是一个不错的出发点。

同时 StarVLA 也在延续着我们一直以来的更多 Feature。

比如说 Cross-embodiment，我们发现现有的框架其实拥有相当不错的 capacity，在异构机器人多本体多任务的训练中依然可以保持性能，相关的内容我们应该在最近就可以放出，一个可以在更多本体以及更多 Task 上面 Work 的 Policy 还是很有意思的。

比如说 VLM Co-training，这是从 M1 开始的内容，VLM 的知识可以 Benefit VLA，以 Co-training 的方式。（btw How Do VLAs Effectively Inherit from VLMs? 是前段时间一篇非常不错讨论 VLM4VLA 的论文，得到了和我们相似的结论，Co-training 比诸如 KI 等方法更加有效）

而最近以来大火的 VA Model（经典的比如 InternVLA-A1, Lingbot-VA 以及 DreamZero）我们也正在支持，事实上排除模型设计上的内容，从 Trainer 角度，VA 以及 VLA 需要的东西并无二致，我们其实已经支持了诸如 Cosmos Policy 的 Model（感谢社区的贡献），也期待后续社区可以带来更多的惊喜。

结语#

前段日子听了 WhyNotTV 关于翁家翌的 Podcast，还是深受触动。在这个 Scaling up 的世代，Infra 至关重要，甚至说“模型的性能往往取决于 Infra 的 Bug 的多少”，starVLA 作为一套面向整个社区的 Codebase，我们希望在 VLA 的土壤上建立像是 vLLM, SGLang 或者 veRL 一样的大厦。如果你也认为这些必不可少的基建是一切发展的基石，又或者是希望参与到 VLA 共建的浪潮中，无论是为了发论文、推进企业项目还是兴趣所致，一份付出就会有一份 credit。无论是想要帮忙还是寻求帮助，欢迎联系我们，或者加入我们的社区讨论群。

也希望将来可以做出更出色的内容。