[E-DailyLee So-Hyun 记者] 专注于提升AI推理效率的企业#NOTA正着手进军可在金融行业封闭网络中使用的人工智能(AI)编码代理市场。通过优化大型语言模型(LLM),在相同的GPU环境下,每分钟可处理的请求量最高增加了95%,首次响应的等待时间缩短至一半以下。
诺塔已与金融IT企业杜贝签署了针对金融行业专用AI编码代理的优化LLM及服务器供应合同。(图片来源:诺塔)
Nota于16日宣布,已与金融IT企业Dube签署了针对金融行业专用本地部署AI编码代理业务的优化LLM及服务器供应合同,并已完成交付。
Nota针对杜贝的AI编码代理,提供从模型轻量化、推理与服务环境优化到服务器配置的一站式集成解决方案。
优化结果显示,在相同的GPU环境下,每分钟处理请求的数量较应用前增加了约58%至95%,从请求回答到生成首个令牌所需的时间缩短至一半以下。
据解释,由于在相同硬件上能够处理更多并发用户的请求,因此从企业角度来看,当AI代理用户增加时,可以减轻因需增配GPU而带来的负担。
该项目主要面向因安全监管而受限于云端生成式AI应用的金融机构。
在金融行业的开发环境中,很难将源代码和内部业务信息传输到外部。由Nota和Dube提供的AI编码代理采用本地部署模式,在客户内部服务器上运行LLM。
由于无需调用外部AI API,因此无需将源代码和内部开发信息等发送至外部即可利用AI。
杜贝的AI编码代理支持从开发需求分析、整理到界面和交互设计等各项开发相关工作,并可融入各金融机构的编码规范和内部库。
诺塔针对编码代理需在单次请求中处理大量代码和开发指南的特性,应用了优化技术。
当包含数万个令牌的请求反复出现且并发用户增加时,GPU内存占用量会增大,响应速度可能下降。
Nota通过量化技术降低了LLM的内存占用,同时优化了生成答案的推理过程以及并行处理多个请求的服务环境。
借此次签约之机,Nota与Dube计划共同向金融行业客户推荐部署本地化AI编码代理。同时,还将根据各客户的用户规模及安全、运营环境,扩大优化版LLM和服务器的供应。
Nota计划不仅在金融领域,还将向外部云服务使用受限的其他行业扩展AI推理与服务优化业务。
Nota首席执行官蔡明洙表示:“随着企业级AI代理市场的扩大,不仅模型性能,而且在有限的GPU资源下能够稳定处理多少请求,正成为决定实际部署成本和运营效率的关键因素。”他补充道:“此次签约的意义重大,在于将Nota的AI模型轻量化以及推理与服务优化技术与实际的企业级AI应用程序相结合并提供给客户。”
他接着表示:“我们将支持企业在金融业等安全与基础设施运营限制较高的环境中高效利用AI代理,并计划与各行业合作伙伴携手,进一步拓展优化软件及AI运行环境的供应业务。”
Nota于16日宣布,已与金融IT企业Dube签署了针对金融行业专用本地部署AI编码代理业务的优化LLM及服务器供应合同,并已完成交付。
Nota针对杜贝的AI编码代理,提供从模型轻量化、推理与服务环境优化到服务器配置的一站式集成解决方案。
优化结果显示,在相同的GPU环境下,每分钟处理请求的数量较应用前增加了约58%至95%,从请求回答到生成首个令牌所需的时间缩短至一半以下。
据解释,由于在相同硬件上能够处理更多并发用户的请求,因此从企业角度来看,当AI代理用户增加时,可以减轻因需增配GPU而带来的负担。
无需外部API,在内部服务器上运行LLM
该项目主要面向因安全监管而受限于云端生成式AI应用的金融机构。
在金融行业的开发环境中,很难将源代码和内部业务信息传输到外部。由Nota和Dube提供的AI编码代理采用本地部署模式,在客户内部服务器上运行LLM。
由于无需调用外部AI API,因此无需将源代码和内部开发信息等发送至外部即可利用AI。
杜贝的AI编码代理支持从开发需求分析、整理到界面和交互设计等各项开发相关工作,并可融入各金融机构的编码规范和内部库。
即使面对数万个令牌的请求,也能提升GPU效率
诺塔针对编码代理需在单次请求中处理大量代码和开发指南的特性,应用了优化技术。
当包含数万个令牌的请求反复出现且并发用户增加时,GPU内存占用量会增大,响应速度可能下降。
Nota通过量化技术降低了LLM的内存占用,同时优化了生成答案的推理过程以及并行处理多个请求的服务环境。
借此次签约之机,Nota与Dube计划共同向金融行业客户推荐部署本地化AI编码代理。同时,还将根据各客户的用户规模及安全、运营环境,扩大优化版LLM和服务器的供应。
Nota计划不仅在金融领域,还将向外部云服务使用受限的其他行业扩展AI推理与服务优化业务。
Nota首席执行官蔡明洙表示:“随着企业级AI代理市场的扩大,不仅模型性能,而且在有限的GPU资源下能够稳定处理多少请求,正成为决定实际部署成本和运营效率的关键因素。”他补充道:“此次签约的意义重大,在于将Nota的AI模型轻量化以及推理与服务优化技术与实际的企业级AI应用程序相结合并提供给客户。”
他接着表示:“我们将支持企业在金融业等安全与基础设施运营限制较高的环境中高效利用AI代理,并计划与各行业合作伙伴携手,进一步拓展优化软件及AI运行环境的供应业务。”