项目背景
广州视源电子科技股份有限公司(以下简称视源股份)成立于2005年12月。是一家以显示、交互控制和连接技术为核心的智能电子产品及解决方案提供商。视源电子为全国科技创新企业500强、中国制造业企业500强。也是国家制造业双创试点企业、国家技术创新示范企业、国家知识产权示范企业。作为一家科技型的公司,视源决定研发一个AI开发平台来作为内部开发工程师使用。
项目挑战
1.开发工程师需要独占GPU,导致GPU算力大大浪费。
2.以物理GPU交付给用户,无法监控用户的使用状态,同时回收资源困难。
3.开发人员对于GPU资源需求越来越多,难以快速分配满足开发人员的需求,跟不上开发业务的发展。
趋动解决方案
1. 使用OrionX vGPU的解决方案,可以令GPU资源动态分配申请和释放,防止了GPU资源的浪费。
2. 利用OrionX的统一监控平台,可以了解到各个用户使用的GPU资源状态,并可以自动回收资源。
3. 利用OrionX PU池化解决方案,可以快速分配vGPU资源给用户,满足开发业务的发展需求。
客户成功
通过OrionX GPU池化解决方案解决了客户在GPU资源的合理分配,管理和控制的问题,并大大提高了GPU的利用率,减少了物理GPU的采购数量,节省了成本。这个原来是基于物理GPU无法解决的问题。
用户反馈
原来视源电子在AI开发领域曾依赖于物理GPU卡。自从引入OrionX之后,视源发现,原先基于物理GPU卡开发的镜像无需进行任何改造,便能通过"GPU as Code"的便捷方式实现无缝切换。无论是进行小规模的开发,大规模的模型训练,还是适度的推理任务,OrionX都允许通过代码精确控制GPU分配,从而实现了一个流畅的DevOps流程。这一转变不仅避免了传统手动GPU分配、使用、监控和回收的繁琐流程。这样GPU的利用率原来<30% 上升到 60%以上,而且显著提高了开发效率。
——刘卓丨视源电子中央研究院