한국지능정보사회진흥원(이하 NIA)과 업스테이지가 공동 운영하는 'Open Ko-LLM 리더보드'가 평가 지표를 추가하는 등 기능을 강화해 운영할 예정이라고 11일 밝혔다.
'Open Ko-LLM 리더보드'는 지난해 9월, 민관 협업을 통해 개설돼 학계 및 업계 다양한 참여자들로부터 큰 관심을 받고 있다. 지난 5월 말까지 참여한 LLM(초거대언어모델) 모델 수가 1천500개를 넘어선 데다, 최고 점수는 70.7점을 기록했다.
이는 세계적으로 인정받는 허깅페이스의 LLM 리더보드(최고점 81.2점)에 근접한 수치다.
NIA와 업스테이지는 Open Ko-LLM 리더보드의 지속적인 발전과 개선을 위해 우선 추론 관련 지표도 추가 운영할 계획이다.
이번 업데이트에서는 허깅페이스의 오픈 LLM 리더보드에서 사용되는 평가지표 중 '추론 능력' 및 '산출 추론 능력' 등 두 개 지표를 한국어로 최적화했다.
황종성 NIA 원장은 "NIA와 업스테이지는 한국어 LLM 발전을 위해 리더보드 평가 지표 및 체계를 지속적인 개선할 방침"이라며 "이를 통해 국내 외 AI 연구자들 사이에서 더욱 활발한 교류와 협력이 이루어질 것으로 기대하고 있다"고 밝혔다.







댓글 많은 뉴스
민주당, '조희대 대법원장 탄핵' 당론 채택…한덕수 판결 하루 만
李대통령 "이미 치러진 시험 부정도 엄중히 단죄…일벌백계"
리트 만점자 사망에…서울대 교수 "하늘로 둥둥 띄우곤 사냥개처럼 몰아붙여" 일침
李대통령, 中 순방 중 '조작기소 특검법' 재가…대장동·쌍방울도 포함
李부부, 120명이 맞이했는데…日총리 앞 의장병만 달랑 세운 中'찬밥 의전'