
通元混合精度NPU
九游体育以算子为原子指令集的AI计算处理器爱芯通元NPU,采用多线程异构多核设计,实现了算子、网络微结构、数据流和内存访问的优化,高效支持混合精度算法设计,原生支持Transformer网络结构,为大模型在边缘侧和端侧的应用提供了坚实的基础。
通过多代产品的量产和客户反馈,结合行业前沿技术的发展趋势,爱芯通元混合精度NPU支持丰富的算子种类,客户可以灵活使用混合计算模式,优化高效的调度机制,支持包括卷积神经网络(CNN)、Transformer网络和BEV在内的各种算法模型。爱芯通元NPU的工具链——Pulsar2功能完善且易于使用,支持主流深度学习训练框架的模型部署,并支持PTQ和QAT两种量化操作,内置多种量化算法,满足各种场景的量化调优需求。


