当前位置: 系统豆 >  微软资讯 >  神州数码云计算大模型推理异步调度系统专利:CPU调度、GPU并行执行,保持精度

神州数码云计算大模型推理异步调度系统专利:CPU调度、GPU并行执行,保持精度

更新时间:2025-08-19 19:20:59作者:xtdptc

神州数码云计算大模型推理异步调度系统专利:CPU调度、GPU并行执行,保持精度

金融界2025年8月19日消息,国家知识产权局信息显示。北京神州数码云计算有限公司申请一项名为“一种基于大模型推理的异步调度系统、方法、设备及介质”的专利,公开号CN120508371A,申请日期为2025年05月。

专利摘要显示,本申请公开了一种基于大模型推理的异步调度系统、方法、设备及介质。涉及大模型推理优化技术领域,该方法包括:CPU接收第t轮的推理请求,执行推理任务调度,得到第t轮的推理数据对象,传输给GPU从GPU中获取第t轮的推理请求的推理词元,判断第t轮的推理请求的推理词元是否包含数值信息,如果包含,则根据该推理词元对第t轮的推理请求进行更新,得到第t轮的推理结果;将第t轮的推理结果传输给终端;并准备第t+1轮的推理任务调度;GPU在CPU进行判断时,从CPU中获取第t轮的推理数据对象,基于第t轮的推理数据对象进行推理,得到第t+1轮的推理请求的推理词元。

天眼查资料显示,北京神州数码云计算有限公司,成立于2015年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本15962万人民币。通过天眼查大数据分析,北京神州数码云计算有限公司共对外投资了7家企业。参与招投标项目300次,财产线索方面有商标信息11条,专利信息21条,此外企业还拥有行政许可5个。

本文源自金融界

热门推荐

Copyright ©  2009-2025 系统豆 www.xtdptc.com 版权声明 网站地图