[E-DailyLee So-Hyun 记者] 专注于提升AI推理效率的企业#NOTA公布了一项“全栈优化”技术,该技术不仅实现了模型轻量化和GPU优化,还能控制AI代理的工作流程。在使用相同AI模型和GPU的情况下,该技术将编码代理的工作时间最多缩短了47%,输出令牌数量最多减少了60%。
Nota,应用AI代理优化后的数据对比(图片来源:Nota)
Nota于18日宣布,已开发出将代理执行控制与现有AI模型轻量化和GPU内核优化相结合的“全栈优化”技术。
AI代理在处理单个请求的过程中,会反复进行模型调用、工具使用及结果验证。在此过程中,若出现不必要的推理或重新验证,不仅会延长响应时间,还可能增加运算资源消耗。
为减少此类情况,Nota将优化范围扩展至不仅涵盖模型和GPU,还包括代理的推理、验证及工具调用方式,构建了相应的优化架构。
该技术的核心在于对管理代理工作流的“Harness”进行优化。它通过分析最近的响应长度、文件修改历史以及工具执行结果等,选择适合当前情境的推理强度,并控制系统避免重复已通过的验证或不必要的重新审查。
同时,还改进了模型的答复生成过程和GPU计算处理。通过在“基于DFlash2的猜测解码”中应用重复上下文复用技术,提高了模型对预测结果的接受率;并根据硬件特性调整了GPU内核。通过让多块GPU共享快速执行设置,减少了重复调优和等待时间。
性能评估在采用同一AI模型及4块NVIDIA RTX PRO 6000 GPU的环境下进行。对比对象为开源编码代理“Cline”的基本配置,并采用了“Terminal-Bench 2.1”和“SWE-bench Multilingual”进行测试。
Nota在模型推理和GPU内核优化方面进行了统一应用,并根据代理控制水平,通过“快速(Fast)”和“超快速(Ultra Fast)”两种模式对性能进行了测试。在“快速”模式下,在提高或保持问题解决率的同时,将处理时间最多缩短了32%,输出令牌数量最多减少了42%。 “超快(Ultra Fast)”模式通过减少重复验证和不必要的复核,将处理时间最多缩短了47%,输出令牌数量最多减少了60%。
不过,在提高效率的过程中也出现了一定的性能下降。在软件错误修复评估中,超快模式的问题解决率从65.7%降至62.0%。这意味着根据任务类型和优化程度的不同,处理效率与解决率之间可能会出现差异。
NOTA计划以编程代理为起点,将该技术扩展至企业级AI代理及生成式AI服务的各个领域。
其战略是将现有模型的轻量化和硬件优化与代理运行控制相结合,使客户能够利用相同的计算资源处理更多AI任务,并将其转化为优化软件许可和技术供应业务。
Nota首席技术官(CTO)金泰浩强调:“随着AI代理在实际业务中的应用日益广泛,相比模型的单纯推理速度,完成一项任务所需的时间和计算成本变得更为重要。”他补充道:“Nota正将技术范围从模型和GPU优化扩展至代理的推理与验证过程,从而在相同的基础设施上处理更多AI任务。”
他接着补充道:“未来我们将把应用范围扩展到各种企业级AI代理和服务环境,以降低客户的AI运营成本,并进一步拓展Nota的优化软件业务领域。”
Nota于18日宣布,已开发出将代理执行控制与现有AI模型轻量化和GPU内核优化相结合的“全栈优化”技术。
AI代理在处理单个请求的过程中,会反复进行模型调用、工具使用及结果验证。在此过程中,若出现不必要的推理或重新验证,不仅会延长响应时间,还可能增加运算资源消耗。
为减少此类情况,Nota将优化范围扩展至不仅涵盖模型和GPU,还包括代理的推理、验证及工具调用方式,构建了相应的优化架构。
连代理“Harness”也纳入优化范围
该技术的核心在于对管理代理工作流的“Harness”进行优化。它通过分析最近的响应长度、文件修改历史以及工具执行结果等,选择适合当前情境的推理强度,并控制系统避免重复已通过的验证或不必要的重新审查。
同时,还改进了模型的答复生成过程和GPU计算处理。通过在“基于DFlash2的猜测解码”中应用重复上下文复用技术,提高了模型对预测结果的接受率;并根据硬件特性调整了GPU内核。通过让多块GPU共享快速执行设置,减少了重复调优和等待时间。
处理时间最多减少47%……输出令牌最多减少60%
性能评估在采用同一AI模型及4块NVIDIA RTX PRO 6000 GPU的环境下进行。对比对象为开源编码代理“Cline”的基本配置,并采用了“Terminal-Bench 2.1”和“SWE-bench Multilingual”进行测试。
Nota在模型推理和GPU内核优化方面进行了统一应用,并根据代理控制水平,通过“快速(Fast)”和“超快速(Ultra Fast)”两种模式对性能进行了测试。在“快速”模式下,在提高或保持问题解决率的同时,将处理时间最多缩短了32%,输出令牌数量最多减少了42%。 “超快(Ultra Fast)”模式通过减少重复验证和不必要的复核,将处理时间最多缩短了47%,输出令牌数量最多减少了60%。
不过,在提高效率的过程中也出现了一定的性能下降。在软件错误修复评估中,超快模式的问题解决率从65.7%降至62.0%。这意味着根据任务类型和优化程度的不同,处理效率与解决率之间可能会出现差异。
从编码代理扩展至企业级AI
NOTA计划以编程代理为起点,将该技术扩展至企业级AI代理及生成式AI服务的各个领域。
其战略是将现有模型的轻量化和硬件优化与代理运行控制相结合,使客户能够利用相同的计算资源处理更多AI任务,并将其转化为优化软件许可和技术供应业务。
Nota首席技术官(CTO)金泰浩强调:“随着AI代理在实际业务中的应用日益广泛,相比模型的单纯推理速度,完成一项任务所需的时间和计算成本变得更为重要。”他补充道:“Nota正将技术范围从模型和GPU优化扩展至代理的推理与验证过程,从而在相同的基础设施上处理更多AI任务。”
他接着补充道:“未来我们将把应用范围扩展到各种企业级AI代理和服务环境,以降低客户的AI运营成本,并进一步拓展Nota的优化软件业务领域。”