回忆录
前言#
又是一个清晨，我开始回忆过去的一年时间，大学的四年似乎转瞬即逝，当年那个刚刚走进校园的少年似乎还在眼前，懵懂而一无所知，居然一转眼就拿到了毕业证。对于已经 22 岁的我来说，似乎青春之类的事情都已经一去不复返了。大学的前三年时间中，我似乎将很多时间浪费在没有意义的内卷中，保研升学的制度使得学生不得不同时注重绩点、竞赛以及科研，从而很难在这些事情之外寻找到一些真正意义上可以被称之为有趣的事情。
在大三的结尾，我依然前往上海人工智能实验室进行实习，彼时我们还在继续完善 InternVLA-M1，没有想到一切的变化来得如此之快。
离别的季节#
在怀揣着激情与希望地离开了上海之后，我又一次回到西安继续我的远程科研实习。在经历 WAIC 之后，尽管团队本质上还是尽力而为，但是整个中心并没有达到一个合理的预期。身处实验室的定位，资源受限，而学生们又多半在埋头于自己的科研事业，主线多半只有正职员工在推进。伦哥的 Team 中除了我之外，主要也是正职以及几位实习生在主要出力，我也最后为 InternData-M1 以及 InternVLA-M1 做出了自己的贡献。
当然，无论如何，一方面实验室的定位正在调整，伴随着政府多年的投入，我们希望在科学发展领域中带来一些突破，这可能不同于高校以论文数量为评价体系的模式，而是需要一些真正意义上的产出。在一些商业模式较为成熟的领域，比如说 LLM 等，我们需要秉承“不与企业夺利”的态度，因此大约在高层的商讨过后，我们的重心开始向科学发展转型。
我一向是一个不擅长社交的人，尽管和大多数我认识的人都至少可以在表面上打成一片，然而却并不是一个有习惯去主动联系并且维护别人的关系的人。如果有我的好友看到这篇博客，见谅，不去联系大家确实并非我本意，习惯使得我只在有必要联系的时候和大家聊天，这也使得我确实在任何时候都难以收到比较及时的信息。彼时九月份，一些风向正在悄然转动，然而我还依然认为过去一年痛苦并激昂的时光还可以无限延伸下去。
同样的原因也有团队主力陆续入学或者毕业的原因，以及在职责调整之后，可能伦哥也认为不能再继续保持现在的状态，但是总之在为 InternVLA-M1 写完 Tech report 之后，大家开始陆续离开。fangjing 已经硕士毕业，在 M1 中承担了重要的责任，之后前往了 Lingbot VLA 团队，写作本篇博客的最近，Lingbot-VLA2 的技术报告中，他赫然是共一第二的贡献度；jinhui 因为香港开学，随后也离开了实验室，不过好在组建的 starVLA 项目依然把团队的几个人联系在一起，他本人则是去了 Qwen 的具身部门，在 Qwen-VLA 以及 Qwen-RobotManip 的技术报告中都可以看到他的身影。至于伦哥，也准备离开，在年末的时候离职也前往了阿里。
对于向往一个更加纯粹的具身研究环境的大家来说，继续在 Embodied for Science 之类的方向发展显然不是目的所在，而当时的我只是认为大家稍有变化，而研究还可以继续开展。在伦哥准备离开之后，我前往了实验室另一位 mentor 汗青哥手下，汗青哥主要处理仿真相关的内容，和我之前的一部分技术栈也较为吻合，我们设计了一个涉及移动操作以及长程操作，并且多维度的 Benchmark，作为后续的方向。
值得一提的是，在伦哥离开前，还非常 nice 地给我推了实验室的星启实习生，大概算是某种人才计划，使得我的收入和生活体验上升了一点点，姑且也算是这么久努力的一些正反馈吧。
再到上海#
因为大四在学期初的课结束之后，就没有什么课程了，通勤上完全允许我再次 onsite 前往上海，于是在申请到了实验室的宿舍之后，我再次前往上海实习。
刚到上海的时候我主要住的是 SHAILAB 提供的宿舍，这个宿舍我从大一开始就有听说，但是事实上却被狠狠照骗了一把。本身高情商说法就是宿舍的环境相较于高校来说确实是单人间，但是作为一个月收费一千五的宿舍，三人合租，一个人的地方只有不到五平米，甚至在睡觉的时候我连脚都伸不直。与此同时，实验室的宿舍分为不同的房间，比较好的房间有阳台并且看上去也宽敞不少，自然都已经住满了，另外剩下的是有阳台但是需要晾衣服，所以别人会经过你的房间的阳台房，以及完全没有阳光的天井房。出于隐私的考量，最后我还是选择了天井房。
本身所幸的是，实验室的宿舍距离实验室还算比较近，大概骑车十多分钟的路程，住宿条件的恶劣倒是使得这段时间是我在实验室时间最长的日子，往往一直加班到半夜。主要也是因为宿舍的隔音也不太好，甚至如果晚上回到宿舍，难以和好朋友语音聊天，不然隔壁的舍友就会过来敲门（说到这个，舍友自己倒是不在意打扰到别人，对于自己晚上发出的噪音毫无察觉），倒不如在实验室待上一会。
长期一个人待在上海，加上伦哥组的人也都在逐渐离开，我的工位因为需要挨着我的 4090 主机（因为有使用本地的 Isaac Sim 的需求），所以和大家也都不在一层，加上宿舍毫无阳光的摄入，久而久之倒是患上了一点抑郁。这一情况直到第二年我得到星启实习生，并且在家父抵达上海探望我之后深感同情，于是出资在浦东通勤时间尚可的地方租了一间五十多平的一室一厅还有阳台的房子之后才有好转。
科研之路#
在上海的生活上不顺利的一切，如今看来似乎都已经是很遥远的事情，而同时，这段时间产出的科研成果倒是也还不错，可以说是一段高产的时期了。
按照之前的规划来说，在实验室相当长的一段时间押注仿真，一方面确实是实验室的数据匮乏，同时倒是有不少可以用于渲染的计算资源，显然仿真数据是一条相当可行的路线；另一方面，押注仿真使得我们可以长期和各个组之间合作，仿真数据作为实验室数据的重要一环，肯定会在实验室内部被广泛采用。在前半年的沉寂以及搭建 GenManip 的升级版本（姑且称之为 GenManip Suite，这是一个现在也已经不是很维护的项目）之后，一方面我们内部一直在推进的仿真数据引擎项目，得以和隔壁组进行联合，与 InternData-A1 的项目一起推进，同时 GenManip 产出的部分数据也被用在了 InternData-A1 中，这使得我也成为了 Nimbus 以及 InternDataEngine 项目的重要一员，并且与 SynthVerse 的团队一起合作了一篇论文。
与此同时，彼时我们也正式创建了 starVLA 这个项目，这个在日后会成为 VLA 领域开源框架中最为流行的框架之一的项目由 jinhui 搭建，并且我在其中进行了一波打下手，作为大概的二号贡献者来贡献一些模型的训练以及框架的 cleanup 和一些优化。一切看上去确实都很欣欣向荣。
到了 25 年的年末，在十一月份十二月份左右，我在当时找到了淼哥。彼时中心内部的数据合成引擎尚且没有开源的打算，而在一定程度上，彼时的 GenManip 则已经进行过了多轮的部分开源，并且提供了较为完善的 close-loop 的数据合成以及测试的框架，可以通过 rule-based 的方法泛化地合成 pick-and-place 数据，并且对于其他的数据，通过编写类似的 yaml 也可以完成合成。对于测试来说也包括了一些可以复用的规则集。
作为一个当时或许对于社区具有一些价值的框架，我对于开源的衡量标准，就是开源那些领先社区 10% 而不是 30% 的东西，大概率还是可以获得一些收益，于是我和淼哥在当时介绍了目前 GenManip 的情况，我当时已经进行的 cleanup，以及之后的打算。正值中心战略调整之际，并且当时伦哥也准备离职，GenManip 这套成熟的测评管线恰好和中心内部的需求相吻合，于是开源的脚步暂缓，我加入了汗青哥的团队，并且开始了对于 GenManip 的进一步重构和开发，并且开始着手搭建一个包含了 Long horizon 以及 mobile manipulation 的 Benchmark，也就是日后的 EBench。
25 年的年末以及 26 年的年初确实是进度飞速发展的一段时间，我们从 GenManip 出发重构了代码，将数据合成以及测评中共享的逻辑解耦出来，并且将测评汇总为更加完善的工具包，对于整套的数据合成加入了新的 feature 使得其可以更好地支持 mobile manipulation 以及自定义的操作动作，并且使得测评可以通过 ray 来管理更多的 worker。我们设计了大量的任务并且在我以及汗青哥的同步推进下，带领着工程师们从搭建场景到设计任务到合成数据，最后到了次年的三月份左右可以开始测试。
可以说大四的寒假在我的感受中几乎是无感的，充斥着大量的科研以及通宵，并且开销了大量的时间以及精力，或许在这一段可以堪称是拼命三郎的日子里唯一值得称道的休闲，也就是在 26 年年初的时候，正好是乐小姐生日，所以让她来上海玩一段时间，顺便带她去了一趟迪士尼，也算是美好的回忆了。
starVLA#
在 25 年 starVLA 项目出现开始，我们一直以来的维护使得 starVLA 确实获得了很多的认可，同时我们当时发现，自然也是因为市面上主要的流行 Benchmark 也是以 In Domain 的测试为主，我们的 starVLA 凭借简洁清晰的设计，并且没有过多的 Bug 或者 Infra 问题，从而可以高效地训练模型，在各种 Benchmark上反而起到了刷榜的效果，纯 from scratch 的模型就可以凭借拟合打过绝大多数的当时的 VLA 模型，通过 Qwen 的初始化成为了一个很好的 starting point，因此被大量的科研工作所采纳。
与此同时，我们也认为是时候给出一些汇报了，这在一方面也是因为我们长期维护仓库，但是一直没有收到 citation 的缘故，因此有必要发表一个 tech report（虽然事实上在发表之后，似乎因为谷歌学术的 bug，依然没有引用被计算，尽管从 semantic scholar 上查看，似乎已经有大几十的引用了）。在同一时期进行并行推进的包含两个项目，一个是对于 ECCV 的投稿，主要从训练时的消融这套故事讲起，从一个 simple yet effective 的 Qwen-OFT 的架构进行了大量的消融，包括了对于结构设计、不同的训练 setting、预训练以及在 co-training 过程中的模型各种设置的消融，这些消融的规律对于非预训练的常规尺寸 VLA 相当有效，也是贡献了我甚至至今为止本年度 VLA 领域中相当出色的一篇分析类型工作，即 StarVLA-；与此同时，我们本身项目则从工程实现等角度撰写了 tech report，作为一篇挂在 arxiv 的论文。
同样的在彼时 WAM 开始兴起，即使用 World Model（或者准确的说是视频生成模型）作为 VLA 训练的 Backbone，使得 starVLA 中 VLA 的语义开始向纯 VLM-based 的 Action 模型靠近。事实上从技术实现上，starVLA 本身其实提供了一个 uniform 的 trainer，模型和其他的 infra 组件被相对良好地解耦，并且使得模型的 forward 中可以传入几乎 raw 的数据集内容（经过我们的测试，在 forward 中进行简单的一些处理对于时间开销并不大，而增加了作为一个通用框架的易用性），自然也就包括一段视频（一个图像的 list），从而可以训练 WAM。
出于以上的观察，于是我们也立刻将 WAM 支持到了 starVLA 中，还是基于以前的几种枚举的架构设计，然而基于 Wan 等模型作为 backbone 进行设计。事实上在后续的测试中，这些模型并没有相较于 VLA 获得那么明显的提升。在 26 年的年初的时候，Nvidia 推出了 DreamZero 并且大谈 WAM 之道，学界一时间也推出了诸多的论文，然而事实上从今天的视角去回看，WAM 除了某种程度上可以更好 leverage ego video 等视频数据，并且在一些测试中显示具有某种视觉鲁棒性，并且 KV Cache 带来了某种天然的记忆能力，事实上与 VLA 的差异并没有如此的显著。在各种仿真以及真机测评中，事实上如今依然是 VLA 与 WAM 分治天下，而非 WAM 一家独大，大概也是因为 VLM-based 的 VLA 模型也具有 VLM 的 VL 能力以及一些迁移的性能，因此得以平分秋色。
无论如何，在 starVLA 中支持了 WAM 之后，某种程度上 starVLA 的维护也就进入了一段平稳期，这段时间 jinhui 带着 starVLA 去 Qwen 参与到了 Qwen-VLA 以及 Qwen-RobotManip 中，而除此之外，我们在此前的一系列更新中展现了 starVLA 的 uniform trainer，同时 starVLA 通用的 c-s 设计也在后续被各种 Benchmark 主动或被动适配，并且得到了开源社区其他的项目，诸如 RLinf 以及 VLA-Eval-Harness 的支持，足以见得 starVLA 确实在 VLA 领域占据了牢固的一席之地。
在此之后，基本上 starVLA 就进入了稳定维护阶段，在 starVLA 中加入原生的 RL 支持显然并不是一个开源小组可以支撑的，而对于 VLA 的预训练以及后训练来说，事实上 starVLA 已经做到了在保证通用性之后的绝大多数内容，尽管是基于 deepspeed，但是毕竟 VLA 的尺寸也有限，其实对于性能开销也无伤大雅。
毕业#
在完成了 starVLA 的科研的同时，大四的上半年以及寒假也大概全都过去了。在此之后，我又一次回到了西交的校园进行新生报到，随后立刻返回上海。在大四下的课程安排中，事实上完全没有需要线下进行的课程，只需要完成毕业设计，因此完全可以远离西安，在上海进行长期的实习。
与此同时，之前我在本校实习时的指导老师周三平老师找到了我，表达了希望成为我毕设指导老师的意愿，我也欣然同意。毕设的题目定为《基于 Isaac Sim 的大规模仿真数据合成系统》，也就是我在此之前一直在推进的 GenManip 项目的一个衍生版本。
由于在仿真项目中投入了大量时间，加上或许稍微优于同龄人平均水平的工程能力，GenManip 事实上是一个工作量很大的项目，往往会让评委老师询问这是否是我独立完成的。因此，作为毕设来说，它事实上绰绰有余。我也只是将其中的一部分进行了完善，并打包成一个闭环，便作为毕设项目进行撰写。在毕业设计流程中来之不易的良心设置之下，毕设的开题答辩和中期答辩都可以远程执行。因此，我也不需要再次负担往返西安、上海的通勤开销。尽管最后在结题的时候还是需要回到西安，不过大概也就是花费了两张凌晨往返的机票，一共价值 1000 多块钱而已。
在彼时，我刚好获得了“星启实习生”的人才计划机会。然而，由于我本身是本科生的身份限制，实验室并不肯为我下发正常的“星启实习生”工资，而是相对较低的一个档次。不过，相较于之前，生活质量也是有了较为明显的改善。与此同时，就像上文提到的，由于家父来到上海体察民情，发现了我的居住条件之差，因此我搬到了一个新的住处。可以说，无论是收入还是居住环境都得到了很大的改善，一切还是属于欣欣向荣的阶段。
然而就像这一章节的标题名称一样，在大四学年的下半年时间，不只是来自学业本身的毕业，许多其他的事情也就此迎来尾声。
由于实验室的策略调整，我们整体开始向 Embodied for Science 演进，这对于之前从 OpenRobotLab 开始就一直在实验室的一系列研究员来说显然是难以接受的，伴随着淼哥从实验室离职前往 JD，在这段时间前后，一些其他的研究员也接连离职，几乎从 OpenRobotLab 时期就在的研究员已经所剩无几。
因此一系列的项目也有必要在这段时间进行收尾，EBench 在进行了漫长的迭代之后，在四五月份陆续放出了代码以及论文，值得一提的是我们在今年年初开始就在和 Qwen 的团队进行对接，从而在他们的 Qwen-RobotManip 的论文中也使用了 EBench，作为一个实现的相当不错的 Mobile Manipulation 加上 Long Horizon 以及精细操作的测评，可以说是一份令我比较满意的答卷。同时数据引擎的项目也以代码的开源以及相关资产的部分开源结尾，我们提供了一个相关的文档，可以使得后续的社区得以在这基础上进一步进行开发。
毕业设计本身自然不是我需要考虑的难点，在五六月份的时候，我集中花费了一周多的时间对毕设进行了打磨，包括行文、画图以及排版，最后也是顺利通过了最终的答辩，并且在系统中完成了提交。
毕业典礼在六月份举行，我回到了西安，这大概也是漫长的时间中因为学习的原因我最后一次回到这里（事实上因为乐小姐还没毕业，所以确实不排除为了看她所以再去西安的可能性），我和几个熟悉的同学以及学弟见面，并且聊了聊天，随后拍摄了毕业照，便拿上了我的毕业证，再次启程了新的旅途。
尾声#
在这一年中发生的绝大多数的事情我们都已经在这里尽数阐述，然而环境在变化，未来也充满了未知，我迫不及待地前往了一条新的道路，在潮头冲浪，激流勇进。一些事情或许等到几年之后我们在可以在这篇文章的末尾进行补充，至于现在，我们暂且留白。
漫长的大学生活似乎悄然间迎来了结尾，在学年开始的时候我前往学校的百团大战观看社团招新，欢呼间当初和轻音社的朋友们嬉笑的时光还在眼前，而悄然间似乎我已经早已游离于这片热闹之外。科研与学习，在某些统计学习的奥秘中进一步 dive deeper，我姑且享受在这样的乐趣中，一再地前进。