[eDailyHan Kwangbeom 记者]KTCorporation(030200)于27日宣布,其自主研发的AI模型路由技术“AutoModelRouter”在大型语言模型(LLM)路由器专业公开基准测试平台“RouterArena”上获得综合排名第二,从而证明了其技术竞争力。
RouterArena是由美国莱斯大学研究团队开发的路由器评估平台,相关研究已被机器学习领域国际学术会议ICLR 2026正式采纳为论文。该平台利用约8400个查询,对路由器的响应准确率、成本效率以及对输入变化的鲁棒性等实际服务运营所需的性能进行综合评估。
AutoModelRouter以“KT-ModelRouter”之名登上了RouterArena的公开排行榜,在同时评估准确率和成本的指标中位列第二。这证明了其在众多模型中选择符合使用目的的模型,同时优化质量与成本的技术竞争力。 目前,公开排行榜上不仅收录了学术界开发的路由器,还包括微软(MS)的Azure模型路由器(Azure Model Router)等商用技术。
当前企业可选择的众多模型在翻译、摘要、编码、推理等方面各具优势,在性能和使用成本方面也存在差异。因此,与其用单一模型处理所有任务,不如根据业务特性和质量要求选择合适模型的技术,正逐渐成为数字化转型(AX)过程中的核心。
自动模型路由器(AutoModelRouter)是一项能在众多模型中自动选择最适合用户请求的模型的技术。它通过分析请求的业务类型、难度和知识领域,并根据综合考虑各模型响应质量和使用成本的路由策略,将该请求与合适的模型进行匹配。
该技术并非简单地一刀切地选择性能最高或成本最低的模型,而是应用了模型选择策略,既能满足企业要求的目标质量,又能提高成本效益。
例如,对于相对简单的翻译或信息核查,会使用满足必要质量要求且成本效益高的模型;而对于需要专业分析或高水平推理的任务,则会连接高性能模型。用户虽然只使用一项服务,但在实际系统中,会根据请求的特性调用不同的模型。
通过这种方式,企业既能减轻逐一比较和选择多种模型的负担,又能根据不同业务的需求水平和预算,更高效地构建运行环境。
AutoModelRouter还被应用于正在推进的“Token Factory”的模型路由功能中。在Token Factory对各类模型和代币使用环境进行综合运营的过程中,AutoModelRouter负责根据用户请求自动选择合适的模型,从而同时优化服务质量和代币使用成本。
未来计划持续优化AutoModelRouter,并构建能够灵活添加新模型的多模型运营环境,以支持企业客户的系统部署和数字化转型。
KT代理式AI实验室(Lab)负责人金俊锡(常务)表示:“AutoModelRouter是一项实现了AI编排能力的技术,将成为支撑包括Token Factory在内的KT代理式AI服务竞争力的核心技术。”他还表示:“KT将基于具有竞争力的AI平台技术,引领企业客户的AX转型。”