[E-DailyKim Hyun-ah 记者]LG Uplus(032640)与AI模型优化专业企业OptAI携手,着手开发提升AI服务运营效率的技术。
随着AI服务的增加,GPU和电力消耗也在迅速增长。在保持相同性能的同时,以更少的资源运行AI已成为一项重要课题。
LG Uplus首席技术官李相叶(左)与OptAI代表李在浩就令牌优化技术合作合影留念。照片来源:LG Uplus
两家公司关注的重点技术是“令牌优化”。
令牌是AI在理解问题并生成回答的过程中处理的数据单位。令牌优化是一项通过减轻AI模型负担或改进运算方式,使同一GPU能够处理更多请求的技术。
LG U+将通过实际运营AI服务来验证并应用该技术。OptAI则负责开发使AI模型更小、运行更快的技术。
两家公司计划通过此举,在降低GPU和功耗的同时,提升AI响应速度和服务质量。
此前,双方在设备端AI领域也曾开展过合作。LG U+将轻量化技术应用于基于ExaOne的小型语言模型,使其能够在智能手机的AI专用半导体NPU上运行。
结果显示,在保持与现有CPU方案相似性能的同时,功耗降低了78%,模型大小缩减了82%。
此次,双方将合作范围扩展至服务器GPU环境。双方将共同研究一项技术,旨在优化AI模型的运算过程,以便在运营大规模AI服务时,使用同一GPU处理更多用户的请求。
目前相关研究已取得成果。双方针对AI生成回答的过程进行了适应实际服务环境的优化,使同一GPU可处理的令牌量较此前最高提升了4倍。
OptAI是一家成立于2021年11月的AI优化初创企业,由曾任职于#LG电子的李在浩(Lee Jae-ho)担任首席执行官。该公司掌握将AI模型针对NPU、GPU、CPU等硬件进行轻量化和优化的技术,并与LG电子、LG U+等企业展开合作。通过设备端AI优化平台“OptHancer”,正将业务扩展至智能手机、汽车、机器人等领域。
双方还于1日共同举办了“高效AI技术研讨会”。Furiosa AI、Vessel AI、韩国电子技术研究院(KETI)、汉阳大学等机构出席了会议,并就AI模型优化、AI半导体以及实际服务应用案例等内容进行了分享。
LG U+计划今后将所掌握的技术分阶段应用于自身的AI服务和大型AI基础设施中。
LG U+首席技术官李相燁表示:“AI竞争力不仅在于提升性能,更取决于如何利用相同资源高效处理尽可能多的令牌,”并称“我们将与各类合作伙伴携手,扩大令牌优化技术的研究范围。”
OptAI代表李在浩表示:“在生成式AI时代,确保运营效率与提升高性能同样重要”,并表示:“我们将进一步完善可在实际服务环境中验证的AI优化技术。”
随着AI服务的增加,GPU和电力消耗也在迅速增长。在保持相同性能的同时,以更少的资源运行AI已成为一项重要课题。
两家公司关注的重点技术是“令牌优化”。
令牌是AI在理解问题并生成回答的过程中处理的数据单位。令牌优化是一项通过减轻AI模型负担或改进运算方式,使同一GPU能够处理更多请求的技术。
LG U+将通过实际运营AI服务来验证并应用该技术。OptAI则负责开发使AI模型更小、运行更快的技术。
两家公司计划通过此举,在降低GPU和功耗的同时,提升AI响应速度和服务质量。
此前,双方在设备端AI领域也曾开展过合作。LG U+将轻量化技术应用于基于ExaOne的小型语言模型,使其能够在智能手机的AI专用半导体NPU上运行。
结果显示,在保持与现有CPU方案相似性能的同时,功耗降低了78%,模型大小缩减了82%。
此次,双方将合作范围扩展至服务器GPU环境。双方将共同研究一项技术,旨在优化AI模型的运算过程,以便在运营大规模AI服务时,使用同一GPU处理更多用户的请求。
目前相关研究已取得成果。双方针对AI生成回答的过程进行了适应实际服务环境的优化,使同一GPU可处理的令牌量较此前最高提升了4倍。
OptAI是一家成立于2021年11月的AI优化初创企业,由曾任职于#LG电子的李在浩(Lee Jae-ho)担任首席执行官。该公司掌握将AI模型针对NPU、GPU、CPU等硬件进行轻量化和优化的技术,并与LG电子、LG U+等企业展开合作。通过设备端AI优化平台“OptHancer”,正将业务扩展至智能手机、汽车、机器人等领域。
双方还于1日共同举办了“高效AI技术研讨会”。Furiosa AI、Vessel AI、韩国电子技术研究院(KETI)、汉阳大学等机构出席了会议,并就AI模型优化、AI半导体以及实际服务应用案例等内容进行了分享。
LG U+计划今后将所掌握的技术分阶段应用于自身的AI服务和大型AI基础设施中。
LG U+首席技术官李相燁表示:“AI竞争力不仅在于提升性能,更取决于如何利用相同资源高效处理尽可能多的令牌,”并称“我们将与各类合作伙伴携手,扩大令牌优化技术的研究范围。”
OptAI代表李在浩表示:“在生成式AI时代,确保运营效率与提升高性能同样重要”,并表示:“我们将进一步完善可在实际服务环境中验证的AI优化技术。”