
国家知识产权局信息显示,上海清程极智科技有限公司申请一项名为“本地化大规模语言模型服务方法及相关设备”的专利,公开号CN121478468A,申请日期为2025年9月。
专利摘要显示,本申请的实施例提供了一种本地化大规模语言模型服务方法及相关设备。该本地化大规模语言模型服务方法包括:实时获取推理服务的请求负载指标;根据所述请求负载指标,在计算迭代周期内,确定五维并行策略,所述五维并行策略包括数据并行度、张量并行度、流水线并行度、序列并行度和专家并行度五个维度的并行度;将当前服务的并行执行方式无中断重构为所述五维并行策略并执行。本申请实施例的技术方案可以保证在负载波动情况下,系统能够在多个并行维度动态切换,并在保证服务质量的前提下实现整体计算成本最小化。
天眼查资料显示,上海清程极智科技有限公司,成立于2024年,位于上海市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本10万人民币。通过天眼查大数据分析,上海清程极智科技有限公司专利信息2条。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
联丰策略提示:文章来自网络,不代表本站观点。