联想推出基于端侧AI算力优化方案的推理加速引擎技术。该技术由清华大学联合研发成果与无问新城技术合作伙伴共同打造,旨在为高校AI PC本地推理方案提供支持,使其性能达到OpenI云端模型推理基准水平。
通过PC端推理速度提升技术和AI推理功耗优化方案,新引擎显著优化了本地运算效率。同步开发的大模型内存占用压缩技术有效降低硬件资源需求,结合端侧大模型推理芯片的协同运算,形成硬件软件性能叠加效应。
该技术突破重点聚焦于端侧设备的大模型部署能力,通过系统性优化实现云端模型在本地设备的轻量化运行。研发团队表示,此创新成果将为教育科研领域的AI应用提供更高效的本地化解决方案。