业务挑战:
人工智能通过“数据+算力+算法+场景”深入到金融领域的决策中,并推动智能金融的发展。多样化的人工智能算法被大规模应用于金融领域,这些应用场景的背后离不开大量算力资源的使用。因此,在实际应用中出现了一些算力资源使用和管理上的问题:
设备利用率低:在GPU资源的分配上,不论需求大小,只能以整张GPU卡为单位分配给业务系统,造成性能闲置。
管理维护难度大,运维成本较高:AI算力无法灵活高效地统一管理和分配,无法被集中监控。
资源孤岛多,系统架构缺乏弹性能力:推理服务的业务并发量受限于集群内物理GPU的数量,无法弹性扩展,不具备业务伸缩能力。
平台缺乏GPU全局管理能力:无法灵活分配资源,平台交付慢,无法满足业务快速上线的需求。
方案简介:
趋动科技OrionX猎户座AI算力资源池化解决方案为金融客户带来创新的GPU资源管理和分配方案,引入软件定义GPU概念,将OrionX软件部署在多台不同类型的GPU服务器上,通过网络互联,构建了一个统一的GPU资源池化层,实现了GPU资源的统一调度、灵活分配、弹性伸缩等云化能力,为上层应用提供GPU算力资源。OrionX将一块物理GPU细粒度切分成多块虚拟GPU,分配给多个虚拟机或者容器。每一块虚拟GPU的显存和算力都能被独立设置和限制。通过这个功能,运行在全栈云上的AI推理应用可以高效地共享GPU资源,提高GPU利用率,降低成本,实现了“有卡可用,按需分配,高效管理”。
方案价值:
提升资源利用率:GPU分配的颗粒度变细,充分挖掘和有效利用了现有GPU资源,服务和支撑更多业务。资源调度全程自动化,不改变系统部署、不影响业务的正常运行,实现GPU资源的“分时复用”,“错峰填谷”。
优化GPU管理模式:统一资源池,弥补原本私有云平台上GPU管理短板,提供GPU资源池性能监控,支持动态回收、任务排队、远程调用等功能,大幅提升运维效率和水平。金融是现代经济社会发展的核心,合规与数据安全将成为核心竞争力。通过GPU池化技术在理念、流程以及业务等方面延伸和创新,能最大程度为金融科技行业的发展规避风险。
支持云原生:软件定义算力,对云原生生态高度兼容,开放性与包容性更强。原生支持AI应用,有利于完善AI中台的全链条。
硬件兼容性强:支持Nvidia全系列主流GPU和国产芯片,且支持不同型号GPU卡的统一管理与灵活分配,完美兼容异构算力,提高GPU资源池的共享能力,从而进一步提高资源利用率。
国产自主可控:完全自主可控的GPU虚拟化和池化技术及国产生态上下游的打通,打破国产化基础设施适配困难、多种架构的信创产品适配效率低、缺少统一的信创资源服务平台的窘境,逐步建立基于自己的 IT 底层架构和标准,形成自有开放生态,解决核心技术关键环节“卡脖子”的问题,助力国产化应用的创新发展。
解决方案架构图: