[E-DailyHan Kwangbeom 金贤雅 记者] 在自主AI基础模型（独基模）第二阶段评估中，Upstage、SKTelecom(017670) 、LG Corp.(003550) AI研究院成功晋级第三阶段评估。另一方面，曾在全球AI模型评估机构Artificial Analysis的人工智能综合指标（AAII）中以47分位居榜首的Motif Technologies则被淘汰。
据《每日经济》获得的详细评估结果显示，Motif在基准测试和专家评估中虽展现出竞争力，但在用户评估中得分相对较低，综合得分仅为65.8分。尽管在衡量技术能力的AAII中获得了最高分，却最终被淘汰，其背后原因在于评估结构中，可用性和实用性的权重相对高于技术能力。
政府决定以此次评估为契机，全面重新调整项目结构，将资源从“独破莫”转向前沿级AI模型的开发。不过，在此次淘汰过程中，技术实力与易用性、实用性的评分结构是否合理，以及评估公式是否已充分向参与企业公开，仍有必要另行探讨。
科学技术信息通信部第二副部长柳济明18日在政府首尔办公楼的新闻发布会上表示：“针对参与第二阶段的4支精英团队，综合基准测试、专家及用户评估的结果，Upstage、SK电讯和LG AI研究院的精英团队晋级下一阶段。”
政府当天已将选拔结果通知各企业，计划在完成异议申请和申辩程序后，启动第三轮评估。根据方针，第三轮评估将按原计划进行，最终选拔出2家企业。晋级第三轮的团队将获得每队约1000张B200 GPU的支持。租赁预算为每队约400亿韩元，总计约1200亿韩元。
Upstage·SKT·LG晋级第三轮在此次第二轮评估中，Upstage公开了参数规模达2500亿个（250B）的“SOLAR-pro-2”，并提出了通过与门户网站“Daum”及“Timely”平台对接，以及与国产AI半导体企业Furiosa AI的NPU进行协作构建生态系统的方案，获得了好评。
SK电信则推出了参数规模达6880亿（688B）的“A.X-K2”。该模型在国际数学奥林匹克竞赛（IMO）及韩语基准测试中表现优异，并在国防、制造、法律、税务等产业领域的应用潜力被视为其优势。
LG AI研究院以7500亿个（750B）参数规模的“K-ExaOne 2.0”为基础，在幻觉抑制指标上位列全球第9，并在与全球国际组织的合作战略及可靠性保障体系方面获得了高分。
另一方面，Motif推出了参数规模达3140亿（314B）的MoE（专家混合）模型。该模型在AAII测试中获得47分，超越了Upstage（37分）、SK电讯（35分）和LG AI研究院（31分）。在全球范围内，这是韩国模型中唯一跻身前10名的。
然而，最终结果却有所不同。
AAII排名第一的Motif，用户评价仅得14.1分据《每日经济新闻》获得的第二阶段评估详细结果显示，Motif的综合得分为65.8分，最终被淘汰。
Motif在基准测试中获得24.6分（AAII 11.9分，NIA 12.7分），在专家评估中获得27.1分。但在用户评估中仅得14.1分（专业用户组8.4分，普通民众5.7分）。
政府解释称，Motif虽然技术实力出众，但在易用性和实际应用性方面获得的评价相对较低，这对其淘汰产生了影响。
问题在于，这一结果能否仅用“在易用性方面稍逊一筹”这一解释就充分说明？
AAII 47分，最终评估中为11.75分“独破摩”评估由基准测试40分、专家评估35分、用户评估25分等共100分组成。其中，AAII占基准测试40分的25分。
AAII原始分数分别为：Motif 47分、Upstage 37分、SK电讯 35分、LG AI研究院 31分。将其换算为满分25分的评分体系后，Motif为11.75分、Upstage 9.25分、SK电讯 8.75分、LG 7.75分。
虽然在AAII原始分数中，Motif与LG的分差为16分，但在最终评估中反映出的分数差距缩小至4分。再加上NIA评估的15分，基准测试总分即为40分。
也就是说，即使在全球技术实力评估中存在较大分差，在最终评估中，这种差距也会相对缩小。
当然，这并非意味着可用性与实用性评估本身存在问题。对于国家AI项目而言，验证技术实力能否真正转化为实际服务并应用于产业现场也至关重要。
不过，需要探讨的是：应分别赋予技术实力和应用性多大的权重，其评分标准和计算公式是否符合项目目的。
特别是，在总分100分中，专家评估35分和用户评估25分等共计60分属于受定性判断影响较大的领域，因此有观点指出，只有充分公开评估标准、详细项目及换算方式，才能对结果进行客观验证。
政府将以“前沿AI”为核心重组项目另一方面，此次结果预计也将推动政府调整AI项目战略。
柳副部长指出，全球前沿企业的模型性能正在迅速发展，并解释称需要建立与现有“独破模”不同的全新竞争格局。
政府认为，仅靠当前这种资源分散式的竞争难以与全球前沿企业抗衡，因此正在研究将“独破莫”和“米托斯”级前沿AI开发项目等相关业务进行联动与整合的方案。包括“独破莫”项目是否继续实施在内的具体业务方向，预计将于近期公布。
科学技术信息通信部人工智能政策室长金京万就前沿级模型的开发表示：“除了由多家企业共同组建特殊目的公司（SPC）的方式外，由特定企业主导项目的方式也是可行的。”
