partner_logo
支持AI算力弹性伸缩、分时复用的OCR 解决方案

支持AI算力弹性伸缩、分时复用的OCR 解决方案

  • 业务挑战:

随着AI技术的逐步落地,AI+金融产品帮助金融机构从后台的臃肿繁琐中解脱,降低沟通成本、提升协作效率,同时实现前台业务的快速决策、敏捷行动,进而在市场竞争中获得更强的竞争力。与此同时,由于AI应用的特殊性以及历史原因,AI集群存在算力孤岛,影响了AI+金融业务的进一步扩张,具体表现在:​

  1. AI应用与AI硬件绑定,多个业务无法共享算力资源。​

  2. 小算力业务独占整个GPU卡,存在严重的算力浪费。 ​

  3. 基础架构复杂,部署周期长,服务上线难。​

  • 方案简介:

为满足金融机构多样化AI场景要求下提升AI算力利用率的目标,趋动科技&合合信息联合提供:支持AI算力弹性伸缩、分时复用的OCR 解决方案。该解决方案基于趋动科技AI资源池化软件-猎户座OrionX构建统一的GPU算力资源池,按需分配OCR 推理业务及训练所需的算力资源,从而允许OCR应用根据资源使用情况(利用率、使用周期等)进行动态调整。同时,还能根据业务属性、工作时间和优先级进行策略调度,从而提升AI业务处理能力,提高物理GPU利用率。​

  • 方案价值:

  1. 业务通量的提升:GPU分配的颗粒度变细,在GPU数量不变的情况下,可以支持更多任务,大幅增加业务的并发数,提升业务通量能力。​

  2. 可调度算力范围扩大:通过软件定义对GPU资源的合理调配,GPU算力可以打破孤岛,动态伸缩,单一业务可以使用更多的算力资源,实现业务规模的扩张。​

  3. 分时复用GPU资源:在线与离线业务中,OCR训练与推理任务可以在同一GPU资源池中被统一调度,分时复用,大幅节省GPU卡资源。​

  4. 国产自主可控:趋动科技通过完全自主可控的GPU池化技术及国产生态上下游的打通能力,打破了国产化基础设施适配困难、多种架构的信创产品适配效率低、缺少统一的信创资源服务平台的窘境,携手合合科技帮助金融用户逐步建立基于自己的 IT 底层架构和标准,解决核心技术关键环节“卡脖子”的问题,助力国产化应用的创新发展。​

  • 解决方案架构图: