[E-DailyHan Kwangbeom 记者] AI半导体企业Rebellion的NPU已扩展应用于SKTelecom(017670)的4项主要商用AI服务的核心功能。
Rebellion于21日宣布,其NPU已从A.dot通话摘要功能开始,陆续应用于A.dot语音合成功能、AI客服中心(AICC)以及“ScamGuard”钓鱼短信检测功能等SKT的4项核心服务。
两家公司于去年6月启动了将国产NPU应用于SKT主要AI服务的测试工作。此后,同年12月,基于Rebellion AI半导体“ATOM-Max”的服务器首次在A.dot通话摘要的“关系推断功能”中实现商用,并已稳定运行半年以上。
Rebellion自今年6月起,陆续将应用范围扩展至:△A.dot通话摘要的“一句话摘要功能” △A.dot的“语音合成功能(流式TTS)” △AICC的“咨询后处理及检索系统” △ScamGuard的“诱饵短信检测功能”。
目前,在这4项服务中,Rebellion基础设施处理的实时AI流量约为每日1400万次,按令牌计算超过每日40亿个。这一规模可与全球企业的大规模商用AI运营案例相媲美。
在技术层面,凭借低延迟、高性能的运算能力,该平台正稳定运行着文本生成与句子级语音合成同步进行的流式TTS等高难度实时服务。通过支持全球标准的AI开发与部署环境,助力ScamGuard在不中断服务的情况下,即时应用新型及变种诈骗短信检测模型。
SKT通过引入Rebellion NPU,根据AI模型的大小和性能特性重新分配GPU和NPU,从而优化了计算资源。此外,还构建了由数十台NPU和数百张卡组成的“NPU农场(Farm)”,通过让公司内部多项服务共享同一资源的方式,提高了基础设施的运营效率。
Rebellion首席执行官朴成贤表示:“过去这一年,国产NPU从‘可能性’迈向了‘经过验证的基础设施’。国民每天使用的4项服务正在Rebellion基础设施上稳定运行,这一事实比任何东西都更有说服力。”他还表示:“今后我们将以大规模商用运营业绩为基础,进一步拓展国内外AI服务的应用范围。”
SKT Core平台负责人朴炳官表示:“随着AI计算需求的增长,我们不仅在GPU的基础上,还积极引进并应用Rebellion的NPU。 我们根据AI服务各项任务的特性,有针对性地运用和重新配置GPU与NPU,从而提高了全公司AI资源利用效率”,并表示:“今后我们将继续扩大NPU集群规模,最大限度地发挥国产NPU半导体的协同效应,并灵活应对公司内外AI计算需求。”
Rebellion继成功运行SKT的AI基础模型“A.X K1”后,此次又成功扩展了商用服务范围,计划今后将NPU基础设施的供应范围进一步拓展至金融、通信、公共事业等各个产业领域。