[E-DailyYun Junghoon 记者]Kakao(035720)公开了选择亚马逊网络服务(AWS)作为人工智能(AI)模型训练核心基础设施合作伙伴的原因。Kakao的战略是灵活获取图形处理单元(GPU)资源,提高大规模模型训练的稳定性和效率,以此支持政府的“全民AI”项目以及其自主研发的大规模语言模型(LLM)“Kanana”的开发。
Kakao AI协同事业部副总裁金世雄于23日在首尔江南帕尔纳斯大厦举行的“AWS AI Wave”活动上发表演讲(照片来源:Yun Junghoon 记者)
Kakao AI协同事业部副总裁金世雄于23日在首尔江南帕尔纳斯大厦举行的“AWS AI Wave”活动中,公开了Kakao的AI基础设施战略以及与AWS的技术合作案例。
Kakao计划以国民级平台KakaoTalk为切入点,将AI代理服务扩展至全体国民的日常生活中。在政府推进的“全民AI”项目中,Kakao也致力于构建让每个人都能在日常生活中享受AI代理服务的代理平台;Kakao联盟中,LG AI研究院、Lunit等韩国主要合作伙伴均参与其中。
与此同时,该公司也在加速开发自主AI模型“卡纳纳”。计划开发从瞄准顶级性能的先锋级模型,到中型模型、小型语言模型(SLM)以及面向设备端的轻量级模型等丰富的产品线,以便用户能够根据服务环境灵活选择。
Kakao正通过“卡纳纳”构建的AI模型产品线(图片来源:Yun Junghoon 记者)
问题在于如何稳定且高效地获取模型开发所必需的庞大GPU资源。大规模模型训练需要数千台计算资源,但根据开发阶段和模型规模的不同,GPU需求会随时波动。 随着每年新款GPU的问世,开发团队对硬件配置的要求也在时刻变化。若仅依靠自有资产应对,项目结束后资源将闲置,或在需要时无法及时供应,从而产生局限性。
为解决这一难题,Kakao采纳了“△训练使用AWS云服务 △推理(服务)使用自有基础设施及政府支持的GPU”这一明确的双轨基础设施战略。
Kakao副总裁金世雄解释道:“GPU不仅内部需求量大,而且在训练结束后存在大量资源浪费,同时还面临着必须及时供应每年推出的新型GPU的挑战。”他补充道:“为了让开发人员能够专注于研究,我们将训练平台的运营交由AWS HyperPod负责,而Kakao则专注于模型开发。”
技术稳定性与构建无缝的学习环境,也是选择AWS的核心原因。 Kakao正在积极利用AWS的分布式AI训练基础设施服务——“亚马逊SageMaker HyperPod”。这是因为在大规模分布式训练过程中,即使部分计算节点发生故障,HyperPod也能自动检测并替换故障节点,并从已保存的检查点立即恢复训练,从而大幅缩短整体训练时间。
Kakao AI协同事业部副总裁金世雄于23日在首尔江南帕尔纳斯大厦举行的“AWS AI Wave”活动上发表演讲(图片来源:Yun Junghoon 记者)(图片来源:Yun Junghoon 记者)
金副社长强调:“在内部运营过程中,我们发现即使只有一块GPU出现故障,整个节点就无法使用,导致运营时间损失严重。”他补充道:“我们选择AWS HyperPod的最主要原因,是因为通过‘不间断学习’来缩短开发时间至关重要。”
此外,Kakao还利用AWS控制台工具,构建了一套能够将有限资源在各内部开发团队之间高效、公平分配的管控体系。金副总裁补充道:“通过AWS控制台清晰掌握资源利用率和效率,不仅减少了团队间的资源争夺和冲突,还实现了快速入职。”
以此方式构建的自主模型“卡纳纳”已注册到AWS的AI市场“Jumpstart”中,正迅速向全球企业和开发者推广。未来,Kakao还将考虑扩展基于云的推理领域,并进一步加强与云服务提供商(CSP)的合作关系。
金世雄副总裁表示:“得益于AWS经过验证的开发体系和新一代学习基础设施的支持,我们得以快速部署卡纳纳模型,并将商业化经验传播给开发者们。”他还表示:“今后,我们将不仅在模型学习方面,而且在推理领域,扩大与各云服务提供商的合作,共同开启全民共享AI红利的时代。”
Kakao AI协同事业部副总裁金世雄于23日在首尔江南帕尔纳斯大厦举行的“AWS AI Wave”活动中,公开了Kakao的AI基础设施战略以及与AWS的技术合作案例。
Kakao计划以国民级平台KakaoTalk为切入点,将AI代理服务扩展至全体国民的日常生活中。在政府推进的“全民AI”项目中,Kakao也致力于构建让每个人都能在日常生活中享受AI代理服务的代理平台;Kakao联盟中,LG AI研究院、Lunit等韩国主要合作伙伴均参与其中。
与此同时,该公司也在加速开发自主AI模型“卡纳纳”。计划开发从瞄准顶级性能的先锋级模型,到中型模型、小型语言模型(SLM)以及面向设备端的轻量级模型等丰富的产品线,以便用户能够根据服务环境灵活选择。
问题在于如何稳定且高效地获取模型开发所必需的庞大GPU资源。大规模模型训练需要数千台计算资源,但根据开发阶段和模型规模的不同,GPU需求会随时波动。 随着每年新款GPU的问世,开发团队对硬件配置的要求也在时刻变化。若仅依靠自有资产应对,项目结束后资源将闲置,或在需要时无法及时供应,从而产生局限性。
为解决这一难题,Kakao采纳了“△训练使用AWS云服务 △推理(服务)使用自有基础设施及政府支持的GPU”这一明确的双轨基础设施战略。
Kakao副总裁金世雄解释道:“GPU不仅内部需求量大,而且在训练结束后存在大量资源浪费,同时还面临着必须及时供应每年推出的新型GPU的挑战。”他补充道:“为了让开发人员能够专注于研究,我们将训练平台的运营交由AWS HyperPod负责,而Kakao则专注于模型开发。”
技术稳定性与构建无缝的学习环境,也是选择AWS的核心原因。 Kakao正在积极利用AWS的分布式AI训练基础设施服务——“亚马逊SageMaker HyperPod”。这是因为在大规模分布式训练过程中,即使部分计算节点发生故障,HyperPod也能自动检测并替换故障节点,并从已保存的检查点立即恢复训练,从而大幅缩短整体训练时间。
金副社长强调:“在内部运营过程中,我们发现即使只有一块GPU出现故障,整个节点就无法使用,导致运营时间损失严重。”他补充道:“我们选择AWS HyperPod的最主要原因,是因为通过‘不间断学习’来缩短开发时间至关重要。”
此外,Kakao还利用AWS控制台工具,构建了一套能够将有限资源在各内部开发团队之间高效、公平分配的管控体系。金副总裁补充道:“通过AWS控制台清晰掌握资源利用率和效率,不仅减少了团队间的资源争夺和冲突,还实现了快速入职。”
以此方式构建的自主模型“卡纳纳”已注册到AWS的AI市场“Jumpstart”中,正迅速向全球企业和开发者推广。未来,Kakao还将考虑扩展基于云的推理领域,并进一步加强与云服务提供商(CSP)的合作关系。
金世雄副总裁表示:“得益于AWS经过验证的开发体系和新一代学习基础设施的支持,我们得以快速部署卡纳纳模型,并将商业化经验传播给开发者们。”他还表示:“今后,我们将不仅在模型学习方面,而且在推理领域,扩大与各云服务提供商的合作,共同开启全民共享AI红利的时代。”