写点什么

拿到字节跳动奖学金,入职字节跳动做科研,他们经历了什么?

  • 2023-05-30
    北京
  • 本文字数:2756 字

    阅读完需:约 9 分钟

拿到字节跳动奖学金,入职字节跳动做科研,他们经历了什么?

前不久,第三届字节跳动奖学金计划已经正式启动。


自 2021 年起,字节跳动奖学金计划已经完成了两届评选,共有 19 位优秀学子荣获每人 10 万元人民币的奖学金。


在奖学金支持下,他们获得了新的科研项目费用、学术交流机会,让自己的才华和努力有了更进一步的发挥空间。


现在,往届获奖者中,除了依然在攻读博士/硕士学位的同学之外,已有 2 位同学取得了教职,2 位同学正式入职国内一线互联网公司。在字节跳动,也有 3 位奖学金得主以正式或实习的身份开始了新的科研生涯。


任同学

  • 浙江大学 2022 届硕士毕业生

  • 首届字节跳动奖学金获奖者

  • 字节跳动火山语音团队算法科学家

“语音合成方面,从合成效果上看,字节跳动相关技术是国内第一梯队的。”


浙江大学毕业的任同学是第一届字节跳动奖学金获奖者之一。他长期研究语音合成等相关领域,是业界普遍使用的语音合成模型 FastSpeech 和 PortaSpeech 的第一作者,光 FastSpeech 和 FastSpeech 2 两篇论文的引用加起来高达 1400+。硕士期间,任同学以一作身份发表的顶会论文就超过了 10 篇。


2021 年,正在读研究生三年级的他因为优秀的科研成果获得了字节跳动奖学金,此后也一直成果频出。硕士毕业才一年的任同学在 Google Scholar 上的 h-index 就达到了 21,也就是说,有 21 篇论文被引用了至少 21 次。


今年年初,在字节跳动火山语音团队的邀约下,任同学正式入职,成为了一名算法科学家,负责语音合成相关的前沿研究工作。


“字节业务范围非常广,像我做的语音合成这类生成式 AI 技术在字节跳动会有很多应用前景。而且我们团队是科研部门,可以发论文,也可以落地实践,这对我非常有吸引力。”


他的确获得了很多落地机会。几个月前,任同学想做一个「音效生成」的技术,生成脚步声、开门声等各种效果,落地在影视、游戏、有声小说等场景。Leader 马上帮他找到了可能会有需求的业务部门,大家迅速明确意向,现在这些音效都已经可以用 AI 合成出来了。


来到字节跳动之后,任同学很认可团队的技术能力:“拿我熟悉的语音方面来说,从合成效果上看,字节跳动相关技术是国内第一梯队的;CV 做得也很好,我可以方便地调用 CV 团队的 SDK。因为有真实的应用场景、有充足的数据与算力支持,字节跳动的算法同学们都在努力追求最棒的效果。”


现在,任同学正在研究新的语音合成模型 PortaSpeech 2,逐步将它落地到火山引擎上;同时也在研究语音驱动人脸——简单来讲,就是语音已经合成好了,如何让数字人对上这段语音的口型。他相信,在字节跳动,这些 AI 技术的创新可以让语音合成获得更大的落地机会,让数字人服务不同行业。


刘同学

  • 上海交通大学博士生

  • 第二届字节跳动奖学金获得者

  • ByteDance Research 实习研究员

“从管理 GPU 集群到申请显示器,在字节做各种事情都很方便。”


上海交通大学博士生刘同学主要研究数据驱动的强化学习方向,2022 年,正在就读博士四年级的他靠着 8 篇 NeurIPS、ICML 等顶会的一作论文成为了字节跳动奖学金得主之一。


2022 年的奖学金评选仅仅过去半年,刘同学仍在为各种强化学习问题寻找新的、更有效的方案。他研究了最新前沿的生成扩散模型在决策任务中的应用投稿到了 NeurIPS;发表了一篇 ICLR 论文 《visual imitation with patch rewards》,让 AI 从视频中模仿学习,这也正是机器人领域的主要目标之一;此外,他还在尝试使用最新的语言模型构建德扑 AI 系统;同时借着奖学金的机会认识了不少跨领域的优秀同行,参加学术会议,和国际最前沿的学术研究者交流碰撞想法。


借助字节跳动奖学金评选的机会,刘同学结识了 ByteDance Research 的一位团队 Leader,就直接加入了团队,成为了一名实习研究员,研究用强化学习解决机器人复杂控制问题。


敏捷高效是刘同学入职字节后最深的感触。优质的研发工具链,让管理 GPU 集群、申请资源都变得非常方便。“不只是研发环境,哪怕是申请显示器、或者在飞书上反映任何方面的问题,都会得到很快的反馈。”


机器人团队让他感受到了浓浓的创新氛围:“虽然我的工作目前还是在模拟环境中进行机器人的强化学习研究,但是能感觉到字节跳动真的非常重视在真实环境中落地,我们办公区附近都摆着各种机器人产品,比如导航机器人、机械臂等等,因为很多同学需要在实机上进行算法调试。虽然机器人团队现在还不大。但我相信,在高效的团队工作下,我们的相关技术积累、迭代和产品应用指日可待。”


现在,刘同学正在研究在模拟环境中控制机器人移动物体的相关研究,“实习到 9 月应该就可以取得一些成果,让我们团队的机器人技术方案更加成熟。”


秦同学

  • 北京航空航天大学博士生

  • 第二届字节跳动奖学金获得者

  • 火山语音团队实习研究员

“字节的研究靠近实际落地,我们期待在将来的研究中获得更有影响力的成果。”


秦同学是北京航空航天大学的博士生,主要研究模型压缩和量化神经网络领域,是 2022 年字节跳动奖学金的十位获奖者者之一。


今年博士四年级的秦同学研究的一个重点方向是硬件友好深度学习。他的工作一方面是把体积巨大的神经网络极限压缩,这样在边缘硬件上也可以运行,在 CVPR 等顶会顶刊提出了 IR-Net 等二值量化方案,并在 ICML 2023 提出国际首个二值量化基准;另一方面,他持续探索低成本的量化方案,在 TPAMI 等顶刊顶会提出了无数据量化系列方法。


其实,在获得奖学金的一年前,秦同学就已经通过学术合作项目开始在字节跳动火山语音团队实习,开展智能语音算法相关的研究工作。


入职之前,虽然没有做过任何语音模型相关的工作,但并不耽误秦同学研究如何在真实的边缘硬件上让语音模型实现十数倍的压缩效果。2022 年,他以一作身份发表在 IJCAI 上的二值化神经网络 BiFSMN 的表现已经超过了行业其他公司的模型效果,前不久还在 TNNLS 上发表了更高性能的 BiFSMNv2。


现在,在字节跳动实习的同时,秦同学也在瑞士的 ETH Zürich 访学。有了字节奖学金支持,他也得以趁此机会前往不同国家参加国际学术交流会议,“前不久我去参加了阿卜杜拉国王科技大学(KAUST)举办的 Rising Stars AI 研讨会,见到了 LSTM 之父 Jurgen Schmidhuber,还认识了很多知名学者,我和他们一起交流量化方向的研究进展。也成为了德国学术交流中心(DAAD)的 AInet Fellow”


在字节学术合作项目中,秦同学可以获得学校导师与字节 Mentor 双方的指导。所产出的技术成果也可以落地在字节跳动的抖音、PICO 等业务上。现在,秦同学正在探索大模型背景下的硬件友好深度学习,“字节会更靠近工业界、靠近实际落地,我们期待在将来的研究中获得更有影响力的成果”。



2023 年,第三届字节跳动奖学金计划已于本月启动,计划支持 10 余位具有创新精神的科技人才,期待优秀的同学们积极报名,与字节跳动共同探索新奇。


我们相信,对优秀科研学子的支持与鼓励不仅能促进个人的创新创造、学术发展,更能通过个人的发展促进科技进步,探索人类认知前沿,让技术回馈社会,引领未来可持续发展。

发布于: 刚刚阅读数: 4
用户头像

还未添加个人签名 2021-04-30 加入

还未添加个人简介

评论

发布
暂无评论
拿到字节跳动奖学金,入职字节跳动做科研,他们经历了什么?_字节跳动_字节跳动技术范儿_InfoQ写作社区