科技

无需增加GPU数量,处理量最高提升95%……诺塔向金融行业提供AI编码代理

杜贝与金融领域专业本地部署AI业务展开合作 从LLM的轻量化、推理、服务到服务器,提供一体化解决方案 首次答复等待时间缩短至一半以下 无需外部API,在封闭网络中保护源代码和业务信息

Lee So-Hyun
2026-11-16 08:48:17
[E-DailyLee So-Hyun 记者] 专注于提升AI推理效率的企业#NOTA正着手进军可在金融行业封闭网络中使用的人工智能(AI)编码代理市场。通过优化大型语言模型(LLM),在相同的GPU环境下,每分钟可处理的请求量最高增加了95%,首次响应的等待时间缩短至一半以下。

诺塔已与金融IT企业杜贝签署了针对金融行业专用AI编码代理的优化LLM及服务器供应合同。(图片来源:诺塔)


Nota于16日宣布,已与金融IT企业Dube签署了针对金融行业专用本地部署AI编码代理业务的优化LLM及服务器供应合同,并已完成交付。

Nota针对杜贝的AI编码代理,提供从模型轻量化、推理与服务环境优化到服务器配置的一站式集成解决方案。

优化结果显示,在相同的GPU环境下,每分钟处理请求的数量较应用前增加了约58%至95%,从请求回答到生成首个令牌所需的时间缩短至一半以下。

据解释,由于在相同硬件上能够处理更多并发用户的请求,因此从企业角度来看,当AI代理用户增加时,可以减轻因需增配GPU而带来的负担。

无需外部API,在内部服务器上运行LLM

该项目主要面向因安全监管而受限于云端生成式AI应用的金融机构。

在金融行业的开发环境中,很难将源代码和内部业务信息传输到外部。由Nota和Dube提供的AI编码代理采用本地部署模式,在客户内部服务器上运行LLM。

由于无需调用外部AI API,因此无需将源代码和内部开发信息等发送至外部即可利用AI。

杜贝的AI编码代理支持从开发需求分析、整理到界面和交互设计等各项开发相关工作,并可融入各金融机构的编码规范和内部库。

即使面对数万个令牌的请求,也能提升GPU效率

诺塔针对编码代理需在单次请求中处理大量代码和开发指南的特性,应用了优化技术。

当包含数万个令牌的请求反复出现且并发用户增加时,GPU内存占用量会增大,响应速度可能下降。

Nota通过量化技术降低了LLM的内存占用,同时优化了生成答案的推理过程以及并行处理多个请求的服务环境。

借此次签约之机,Nota与Dube计划共同向金融行业客户推荐部署本地化AI编码代理。同时,还将根据各客户的用户规模及安全、运营环境,扩大优化版LLM和服务器的供应。

Nota计划不仅在金融领域,还将向外部云服务使用受限的其他行业扩展AI推理与服务优化业务。

Nota首席执行官蔡明洙表示:“随着企业级AI代理市场的扩大,不仅模型性能,而且在有限的GPU资源下能够稳定处理多少请求,正成为决定实际部署成本和运营效率的关键因素。”他补充道:“此次签约的意义重大,在于将Nota的AI模型轻量化以及推理与服务优化技术与实际的企业级AI应用程序相结合并提供给客户。”

他接着表示:“我们将支持企业在金融业等安全与基础设施运营限制较高的环境中高效利用AI代理,并计划与各行业合作伙伴携手,进一步拓展优化软件及AI运行环境的供应业务。”

Economy

Corporation

IT·Science

Economy

三星、LG对大学入学考试考场的中央空调系统进行检查……考试当天将采取紧急应对措施

三星电子和LG电子在即将于19日举行的2027学年度大学修学能力考试前,对考场内安装的中央空调系统进行了检查,并将在考试当天启动应急响应机制。 三星电子服务公司的工程师们正在检查大学修学能力考试考场的中央空调系统。(照片来源:三星电子服务公司) 三星电子16日表示,为确保考生能在稳定的环境中参加考试,将提供系统空调的预检及紧急维修服务。三星电子服务公司已组建专门的服务团队,以便在考试当…
2026-11-16 08:38:45

Corporation

“便利店的里森经济学”……CU推出里特·梅特角色周边商品

CU瞄准偶像组合RESCENE的粉丝群体,继推出RESCENE面包后,将进一步销售角色周边商品。此前,由成员参与商品开发的RESCENE面包在上市约两个月内销量已突破350万个,此次CU计划通过扩展合作商品线——包括专辑、玩偶及配饰等——来进一步吸引粉丝群体。 CU RESCENE“里特”与“梅特”角色周边。(图片来源:BGF零售) BGF Retail(282330)由其运营的便利店…
2026-11-16 08:39:34

IT·Science

无需增加GPU数量,处理量最高提升95%……诺塔向金融行业提供AI编码代理

专注于提升AI推理效率的企业#NOTA正着手进军可在金融行业封闭网络中使用的人工智能(AI)编码代理市场。通过优化大型语言模型(LLM),在相同的GPU环境下,每分钟可处理的请求量最高增加了95%,首次响应的等待时间缩短至一半以下。 诺塔已与金融IT企业杜贝签署了针对金融行业专用AI编码代理的优化LLM及服务器供应合同。(图片来源:诺塔) Nota于16日宣布,已与金融IT企业Dube…
2026-11-16 08:48:17