[E-DailyKim Hyun-ah 记者] 专注于AI模型轻量化和优化的企业#NOTA已验证了一项技术,该技术通过同时利用AMD的GPU和NPU,将人工智能(AI)响应速度提升了最高52%。通过将AI运算任务分配给这两种半导体分别处理,既缩短了处理时间,又提高了能效。
Nota于9日宣布,在4日举行的“AMD Advancing AI World Tour Seoul 2026”活动中,该公司发布了基于AMD Ryzen AI Max+ 395的异构计算优化技术成果。
根据内部测试结果,Qwen3-8B模型的整体响应完成时间比原有的AMD GPU·NPU混合运行环境缩短了28%至52%。每令牌能耗降低了31%,每令牌生成时间缩短了41%至46%。
正在发表演讲的Nota首席技术官金泰浩。图片来源:Nota(Nota AI)
该技术采用GPU和NPU分担AI运算的方式。由NPU负责接收问题并分析内容的“预填充(Prefill)”过程,而由GPU负责生成实际答案的“解码(Decode)”过程。通过设计使这两个运算设备共享相同的AI模型权重,从而减少了内存的重复使用。
Nota正在将其AI代理应用于AI模型优化平台“NetsPresso”,以实现优化过程的自动化。该方式由AI代理分析模型与硬件特性以制定优化策略,并通过在实际设备上测量性能来持续改进。优化范围不仅涵盖AI模型,还扩展至模型运行的软件环境。
该公司还公布了针对多种语言模型的额外测试结果。在AMD Ryzen AI环境中对Llama、Qwen、Phi、Mistral等模型进行测试后发现,与现有的AMD混合运行环境相比,内存使用量减少了11%至32%。与仅使用NPU的情况相比,生成回答的速度提高了2.5至3.8倍。
如果说AI半导体企业负责制造承担运算任务的芯片,那么Nota则致力于开发使AI在这些芯片上高效运行的软件。其主营业务是针对英伟达(NVIDIA)GPU、基于Arm的处理器、三星电子移动半导体、AMD平台等多种硬件,对AI模型进行优化。
其主力产品是AI模型优化平台“Netzpresso”。该平台支持模型压缩、量化、运算优化,以及针对不同硬件的转换和性能验证,从而减少了AI开发人员根据半导体类型逐一修改和测试模型的过程。
该公司还提供基于Netzpresso的各行业设备端AI解决方案。其代表性产品“NOTA Vision Agent(NVA)”是一款分析视频中场景和行为的智能视频监控解决方案。该方案不仅能识别人物或物体,还能把握现场情况和行为语境,并支持通过自然语言检索视频或生成分析报告。
智能交通系统(ITS)通过在现有闭路电视监控系统中应用AI,对交通流量和突发状况进行分析。驾驶员监测系统(DMS)可检测驾驶员打瞌睡或使用手机等分心行为。人脸识别(FR)技术则应用于门禁控制和身份认证等领域。所有这些均采用设备端AI方式,无需连接高性能服务器,即可在设备本身运行AI。
诺塔采用由首席执行官(CEO)蔡明洙统筹经营与业务,创始人兼首席技术官(CTO)金泰浩主导核心技术研发的体制。 这两位曾在韩国科学技术院(KAIST)人工智能研究所共同从事研究的人员,自2015年金CTO创业以来,以2018年蔡CEO加入为契机,进一步拓展了业务。蔡CEO负责向AI模型轻量化业务转型及全球业务拓展,金CTO则负责包括Netzpresso在内的AI优化技术开发。
诺塔一直与三星电子、Arm、Furiosa AI、Moblinte等海内外半导体企业保持合作。今年7月,该公司作为亚太及日本(APJ)地区的主要早期合作伙伴之一,加入了AMD的全球机器人合作伙伴网络。10月,诺塔还在Arm的AI开发者平台上展示了基于Netzpresso的优化技术。
NOTA计划以此次AMD平台验证为契机,在AI PC和机器人领域拓展业务。由于这些设备需要在有限的内存和功耗下运行AI,因此能够高效利用GPU和NPU等多种计算资源的软件至关重要。
Nota首席技术官金泰浩表示:“在代理式AI和物理AI时代,不仅模型本身的性能,而且能否高效利用GPU和NPU等多种计算资源,将决定服务性能和运营效率。”他补充道:“我们将基于从模型到推理系统全流程的优化技术,扩大与全球半导体生态系统的合作。”
Nota于9日宣布,在4日举行的“AMD Advancing AI World Tour Seoul 2026”活动中,该公司发布了基于AMD Ryzen AI Max+ 395的异构计算优化技术成果。
根据内部测试结果,Qwen3-8B模型的整体响应完成时间比原有的AMD GPU·NPU混合运行环境缩短了28%至52%。每令牌能耗降低了31%,每令牌生成时间缩短了41%至46%。
该技术采用GPU和NPU分担AI运算的方式。由NPU负责接收问题并分析内容的“预填充(Prefill)”过程,而由GPU负责生成实际答案的“解码(Decode)”过程。通过设计使这两个运算设备共享相同的AI模型权重,从而减少了内存的重复使用。
Nota正在将其AI代理应用于AI模型优化平台“NetsPresso”,以实现优化过程的自动化。该方式由AI代理分析模型与硬件特性以制定优化策略,并通过在实际设备上测量性能来持续改进。优化范围不仅涵盖AI模型,还扩展至模型运行的软件环境。
该公司还公布了针对多种语言模型的额外测试结果。在AMD Ryzen AI环境中对Llama、Qwen、Phi、Mistral等模型进行测试后发现,与现有的AMD混合运行环境相比,内存使用量减少了11%至32%。与仅使用NPU的情况相比,生成回答的速度提高了2.5至3.8倍。
从AI模型到运行环境全面优化……提升半导体利用效率NOTA始于2015年,是韩国科学技术院(KAIST)校内创业公司,致力于通过轻量化和优化模型,使智能手机、监控摄像头、汽车等性能和内存受限的设备也能运行AI。该公司于2025年11月在科斯达克(KOSDAQ)上市。
如果说AI半导体企业负责制造承担运算任务的芯片,那么Nota则致力于开发使AI在这些芯片上高效运行的软件。其主营业务是针对英伟达(NVIDIA)GPU、基于Arm的处理器、三星电子移动半导体、AMD平台等多种硬件,对AI模型进行优化。
其主力产品是AI模型优化平台“Netzpresso”。该平台支持模型压缩、量化、运算优化,以及针对不同硬件的转换和性能验证,从而减少了AI开发人员根据半导体类型逐一修改和测试模型的过程。
该公司还提供基于Netzpresso的各行业设备端AI解决方案。其代表性产品“NOTA Vision Agent(NVA)”是一款分析视频中场景和行为的智能视频监控解决方案。该方案不仅能识别人物或物体,还能把握现场情况和行为语境,并支持通过自然语言检索视频或生成分析报告。
智能交通系统(ITS)通过在现有闭路电视监控系统中应用AI,对交通流量和突发状况进行分析。驾驶员监测系统(DMS)可检测驾驶员打瞌睡或使用手机等分心行为。人脸识别(FR)技术则应用于门禁控制和身份认证等领域。所有这些均采用设备端AI方式,无需连接高性能服务器,即可在设备本身运行AI。
诺塔采用由首席执行官(CEO)蔡明洙统筹经营与业务,创始人兼首席技术官(CTO)金泰浩主导核心技术研发的体制。 这两位曾在韩国科学技术院(KAIST)人工智能研究所共同从事研究的人员,自2015年金CTO创业以来,以2018年蔡CEO加入为契机,进一步拓展了业务。蔡CEO负责向AI模型轻量化业务转型及全球业务拓展,金CTO则负责包括Netzpresso在内的AI优化技术开发。
诺塔一直与三星电子、Arm、Furiosa AI、Moblinte等海内外半导体企业保持合作。今年7月,该公司作为亚太及日本(APJ)地区的主要早期合作伙伴之一,加入了AMD的全球机器人合作伙伴网络。10月,诺塔还在Arm的AI开发者平台上展示了基于Netzpresso的优化技术。
NOTA计划以此次AMD平台验证为契机,在AI PC和机器人领域拓展业务。由于这些设备需要在有限的内存和功耗下运行AI,因此能够高效利用GPU和NPU等多种计算资源的软件至关重要。
Nota首席技术官金泰浩表示:“在代理式AI和物理AI时代,不仅模型本身的性能,而且能否高效利用GPU和NPU等多种计算资源,将决定服务性能和运营效率。”他补充道:“我们将基于从模型到推理系统全流程的优化技术,扩大与全球半导体生态系统的合作。”