科技

诺塔推出AI代理“全栈优化”功能……工作时间最多减少47%

不仅限于模型和GPU,更可控制推理、验证及工具调用等全流程 在同一基础设施上,代币发行成本最高可降低60% 对“编码代理”进行性能验证……将业务扩展至企业级AI领域

Lee So-Hyun
2026-11-18 08:50:28
[E-DailyLee So-Hyun 记者] 专注于提升AI推理效率的企业#NOTA公布了一项“全栈优化”技术,该技术不仅实现了模型轻量化和GPU优化,还能控制AI代理的工作流程。在使用相同AI模型和GPU的情况下,该技术将编码代理的工作时间最多缩短了47%,输出令牌数量最多减少了60%。

Nota,应用AI代理优化后的数据对比(图片来源:Nota)


Nota于18日宣布,已开发出将代理执行控制与现有AI模型轻量化和GPU内核优化相结合的“全栈优化”技术。

AI代理在处理单个请求的过程中,会反复进行模型调用、工具使用及结果验证。在此过程中,若出现不必要的推理或重新验证,不仅会延长响应时间,还可能增加运算资源消耗。

为减少此类情况,Nota将优化范围扩展至不仅涵盖模型和GPU,还包括代理的推理、验证及工具调用方式,构建了相应的优化架构。

连代理“Harness”也纳入优化范围

该技术的核心在于对管理代理工作流的“Harness”进行优化。它通过分析最近的响应长度、文件修改历史以及工具执行结果等,选择适合当前情境的推理强度,并控制系统避免重复已通过的验证或不必要的重新审查。

同时,还改进了模型的答复生成过程和GPU计算处理。通过在“基于DFlash2的猜测解码”中应用重复上下文复用技术,提高了模型对预测结果的接受率;并根据硬件特性调整了GPU内核。通过让多块GPU共享快速执行设置,减少了重复调优和等待时间。

处理时间最多减少47%……输出令牌最多减少60%

性能评估在采用同一AI模型及4块NVIDIA RTX PRO 6000 GPU的环境下进行。对比对象为开源编码代理“Cline”的基本配置,并采用了“Terminal-Bench 2.1”和“SWE-bench Multilingual”进行测试。

Nota在模型推理和GPU内核优化方面进行了统一应用,并根据代理控制水平,通过“快速(Fast)”和“超快速(Ultra Fast)”两种模式对性能进行了测试。在“快速”模式下,在提高或保持问题解决率的同时,将处理时间最多缩短了32%,输出令牌数量最多减少了42%。 “超快(Ultra Fast)”模式通过减少重复验证和不必要的复核,将处理时间最多缩短了47%,输出令牌数量最多减少了60%。

不过,在提高效率的过程中也出现了一定的性能下降。在软件错误修复评估中,超快模式的问题解决率从65.7%降至62.0%。这意味着根据任务类型和优化程度的不同,处理效率与解决率之间可能会出现差异。

从编码代理扩展至企业级AI

NOTA计划以编程代理为起点,将该技术扩展至企业级AI代理及生成式AI服务的各个领域。

其战略是将现有模型的轻量化和硬件优化与代理运行控制相结合,使客户能够利用相同的计算资源处理更多AI任务,并将其转化为优化软件许可和技术供应业务。

Nota首席技术官(CTO)金泰浩强调:“随着AI代理在实际业务中的应用日益广泛,相比模型的单纯推理速度,完成一项任务所需的时间和计算成本变得更为重要。”他补充道:“Nota正将技术范围从模型和GPU优化扩展至代理的推理与验证过程,从而在相同的基础设施上处理更多AI任务。”

他接着补充道:“未来我们将把应用范围扩展到各种企业级AI代理和服务环境,以降低客户的AI运营成本,并进一步拓展Nota的优化软件业务领域。”

Economy

Corporation

IT·Science

Economy

[第37届SRE][专题]受JR·中央事件影响而萎缩的BBB级市场

“债券市场本应是企业普遍的融资渠道,但如今却像个名流社交俱乐部。”这是在第37届SRE会议结束后举行的顾问委员会会议上,一位顾问提出的议题。随着JR Global REITs和中央集团接连发生债务违约(default)事件,非优质债券的投资信心受到打击,有观点指出,韩国公司债券市场正逐渐固化为以优质企业为主的格局。 市场专家预测,随着公司债券两极分化现象的加剧,BBB级公司债券的发行量将进一步减少…
2026-11-18 10:30:05

Corporation

亮相APEC晚宴的“教村米酒”……可在君悦酒店品尝

运营连锁品牌“教村炸鸡”的教村F&B公司,在首尔君悦酒店推出高端米酒“银河星夜12度”,以此拓展传统酒类的销售渠道。 继首尔、釜山乐天酒店及乐天百货之后,教村再次拓展销售渠道,计划向国内外酒店宾客推广这款采用当地大米和自主酿造技术酿造的韩国传统酒,并将分销渠道进一步扩展至酒店及百货商店等领域。KYOCHON FOOD&BEVERAGE(339770)隶属于该公司的农业法人“发酵工坊1991”于18…
2026-11-18 09:50:52

IT·Science

韩国游戏大获殊荣,多款作品入选Google Play“年度游戏”榜单

Google Play于18日公布了“2026年度最佳应用与游戏”榜单,评选出了过去一年中深受用户喜爱的应用和游戏。 在韩国,“年度最佳游戏”由Nexon的《 Maple 养成》摘得。该作在保留《 MapleStory》特有的像素画风、音效、角色装扮及BOSS团战等熟悉元素的同时,还新增了离线自动成长系统。 Netmarble Corporation(251270)的《蒙吉尔:…
2026-11-18 11:22:31