[보도자료] NIA-업스테이지, 2023 올해의 한국어 초거대 언어 모델(LLM) 시상식 개최
2024.04.08
조회수 265
구서연
ESG혁신팀
NIA-업스테이지, 2023 올해의 한국어 초거대 언어 모델(LLM) 시상식 개최
- 한국어 생성형 AI 생태계 활성화를 위한 민관협력 모델 -
- Open Ko-LLM 리더보드(9.27 오픈, NIA-업스테이지 공동운영) 부문별 1위 모델(야놀자, ㈜이든티앤에스) 선정 -
□ 한국지능정보사회진흥원(원장 황종성, 이하 NIA)과 업스테이지(대표 김성훈(성킴))은 4월 5일(금) NIA 서울사무소에서 ‘2023년 올해의 LLM’ 시상식을 개최하고 우수 모델 2개를 선정했다고 밝혔다.
○ 우수 모델은 NIA와 업스테이지가 운영중인 ‘Open-Ko LLM 리더보드(이하 리더보드)*’을 통해 접수된 1,134개 LLM(’24.2.9 마감 기준) 대상으로 5개 성능 지표**에 따라 성능을 측정하여 선정하였다.* Open Ko-LLM 리더보드 : 글로벌 최대 AI 개발자 오픈소스 커뮤니티인 허깅페이스의 LLM 리더보드(영어 버전)를 벤치마크하여 구축한 최초의 한국어 초거대 언어 모델 성능 평가 체계
** 추론능력, 상식능력, 언어이해력, 환각방지능력, 한국어 상식생성능력□ 대화(chat) 기반 AI 모델은 좋은 사전학습 모델을 기반으로 튜닝을 진행하는 것이 중요하므로, 이번 시상은 근간이 되는 ‘사전학습(Pretrained) 모델’과 응용을 하는 ‘파인튜닝(Finetuning) 모델’로 분야를 나누어 가장 우수한 점수를 획득한 모델을 선정하여 시상하였다.※ Pretrained 모델 : 사전에 학습시킨 모델, Finetuning 모델 : 목표하는 데이터로 미세 조정한 모델○ 그 결과 사전학습 모델 부문에서는 ‘야놀자’가, 파인튜닝 부문에서는 ‘㈜이든티앤에스’가 1위를 차지하고 NIA 원장상을 수상 하였다.
□ 리더보드의 목적은 한국어 LLM 평가 생태계 구축이며, 생태계의 핵심은 “표준화(Standardization)”이다. NIA와 업스테이지는 이러한 표준화를 잘 이루어낼 수 있도록 다양한 능력을 평가할 수 있는 평가지표를 추가하고, 평가방식 등을 지속적으로 개선해 나갈 계획이다.
○ 또한 NIA는 국내 자연어처리 분야의 최정상급 교수님들로 구성된 리더보드 운영위원회를 통해 리더보드의 활성화와 발전 방향을 도출해 나갈 예정이다.
□ NIA 황종성 원장은 “국내 리더보드에서 우수한 성적을 보인 기업이 글로벌 리더보드에서도 독보적인 위치를 차지하는 등 Open Ko-LLM 리더보드의 수준이 매우 높아지고 있다. 앞으로도 국내 기업의 초거대 언어모델 역량 강화와 민관협력을 위해 적극 지원하겠다”고 밝혔다.
○ 각 부문 1위를 수상한 ‘야놀자’와 ‘㈜이든티앤에스’는 “자사의 초거대 언어모델 성능과 기술력을 인정 받을 수 있는 기회가 주어져 매우 기쁘며 지속적으로 발전 시켜 나가겠다”고 소감을 밝혔다. <끝>
붙임1. 올해의 LLM 시상식 사진
