[E-DailyLee So-Hyun 记者]Kakao(035720)自主开发了作为多模态人工智能(AI)“眼睛”的视觉编码器,并以开源形式发布。该公司表示,在与谷歌、Meta、苹果、阿里巴巴等全球主要视觉编码器的对比评估中,其轻量级模型(参数数不足1亿)也展现出了卓越的性能。
Kakao于21日宣布,已将其自主研发的两种“Kanana-2-vision-encoder”视觉编码器发布至全球AI模型平台Hugging Face。
公开的模型包括参数规模为4.26亿的中型(medium)模型和参数规模为9800万的小型(tiny)模型。Kakao此前曾在13日举行的开发者大会“If Kakao 26”上预告了发布视觉编码器的计划。
视觉编码器的作用是从图像中提取物体、文字、位置、形态等视觉信息,并将其传递给语言模型。
语言模型会将其与用户的提问结合起来进行解读,从而生成答案。该技术可用于识别菜单上的菜品和价格、理解文档的内容与布局,以及描述照片中的场景。
Kakao针对一般视觉问答(VQA)、英语和韩语文字识别与文档理解、图像内位置定位及精细识别等9个领域共计42项基准测试,对这两款模型的性能进行了评估。
该公司表示,评估结果显示,这两款模型的综合性能优于谷歌的“SigLIP 2”、Meta的“Perception Encoder”、苹果的“AIMv2”以及阿里巴巴的“Qwen 3.5-ViT”等全球主要视觉编码器。
Kakao特别指出,尽管tiny模型的参数数量不足1亿,但与参数规模超过4亿的全球模型相比,仍展现出了极具竞争力的性能。
该公司表示,在图像定位、韩语测试、韩语文字识别及文档理解领域,性能差距尤为显著。
Kakao解释称,通过应用能够保留小字和复杂文档结构视觉信息的自主学习技术,提升了文字识别(OCR)和文档理解性能。
Kakao表示,通过利用自主研发的语言模型“Kanana-2”,将视觉编码器的学习效率较此前提高了约4倍。
据介绍,通过将语言模型的性能应用于视觉编码器的学习,使其能够从高分辨率图像中提取精细的视觉信息。
通过采用针对高分辨率图像处理进行优化的设计,与全球主要视觉编码器相比,处理延迟时间也减少了60%以上。
此外,通过应用知识蒸馏和轻量化技术,不仅开发了中型模型,还同步开发了兼顾设备端应用的轻量级模型。
[本图片利用AI技术制作而成。]
Kakao将对这两款模型适用“Kanana开放许可(Kanana Open License)”。
计划不仅允许用于研发,还允许商业应用,以便国内外研究人员和企业能够利用该技术开发多模态AI技术和服务。
Kakao正在自主开发包括视觉编码器、语言模型以及视觉和语音处理模块等在内的全能语言模型“Kanana-o”的构成要素。今后还将陆续公开其他组成部分。
Kakao统一基础模型成果负责人卢炳锡表示:“在代理式AI时代,能够直接理解并操作PC或移动设备屏幕的‘计算机使用’技术备受关注,而能够准确分析高分辨率图像的视觉编码器的作用正日益凸显。”他补充道:“我们将通过提升自主AI模型的竞争力并公开相关技术,为AI生态系统的发展做出贡献。”
Kakao于21日宣布,已将其自主研发的两种“Kanana-2-vision-encoder”视觉编码器发布至全球AI模型平台Hugging Face。
公开的模型包括参数规模为4.26亿的中型(medium)模型和参数规模为9800万的小型(tiny)模型。Kakao此前曾在13日举行的开发者大会“If Kakao 26”上预告了发布视觉编码器的计划。
能够理解图像和文档的AI“眼睛”
视觉编码器的作用是从图像中提取物体、文字、位置、形态等视觉信息,并将其传递给语言模型。
语言模型会将其与用户的提问结合起来进行解读,从而生成答案。该技术可用于识别菜单上的菜品和价格、理解文档的内容与布局,以及描述照片中的场景。
Kakao针对一般视觉问答(VQA)、英语和韩语文字识别与文档理解、图像内位置定位及精细识别等9个领域共计42项基准测试,对这两款模型的性能进行了评估。
该公司表示,评估结果显示,这两款模型的综合性能优于谷歌的“SigLIP 2”、Meta的“Perception Encoder”、苹果的“AIMv2”以及阿里巴巴的“Qwen 3.5-ViT”等全球主要视觉编码器。
Kakao特别指出,尽管tiny模型的参数数量不足1亿,但与参数规模超过4亿的全球模型相比,仍展现出了极具竞争力的性能。
该公司表示,在图像定位、韩语测试、韩语文字识别及文档理解领域,性能差距尤为显著。
Kakao解释称,通过应用能够保留小字和复杂文档结构视觉信息的自主学习技术,提升了文字识别(OCR)和文档理解性能。
学习效率提升4倍……处理延迟减少60%以上
Kakao表示,通过利用自主研发的语言模型“Kanana-2”,将视觉编码器的学习效率较此前提高了约4倍。
据介绍,通过将语言模型的性能应用于视觉编码器的学习,使其能够从高分辨率图像中提取精细的视觉信息。
通过采用针对高分辨率图像处理进行优化的设计,与全球主要视觉编码器相比,处理延迟时间也减少了60%以上。
此外,通过应用知识蒸馏和轻量化技术,不仅开发了中型模型,还同步开发了兼顾设备端应用的轻量级模型。
不仅限于研究,还允许商业应用
Kakao将对这两款模型适用“Kanana开放许可(Kanana Open License)”。
计划不仅允许用于研发,还允许商业应用,以便国内外研究人员和企业能够利用该技术开发多模态AI技术和服务。
Kakao正在自主开发包括视觉编码器、语言模型以及视觉和语音处理模块等在内的全能语言模型“Kanana-o”的构成要素。今后还将陆续公开其他组成部分。
Kakao统一基础模型成果负责人卢炳锡表示:“在代理式AI时代,能够直接理解并操作PC或移动设备屏幕的‘计算机使用’技术备受关注,而能够准确分析高分辨率图像的视觉编码器的作用正日益凸显。”他补充道:“我们将通过提升自主AI模型的竞争力并公开相关技术,为AI生态系统的发展做出贡献。”