meta에서 가장 최근에 나온 llama 3.2의 경우 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어가 공식적으로 지원해서 이상한 답변이 오는데
이걸 과기대 랩실에서 한국어용으로 사용가능하게 만든 모델이 있네요
저희 Bllossom 팀에서 Bllossom-3B 모델을 공개합니다.
llama3.2-3B가 나왔는데 한국어가 포함 안되었다구?? 이번 Bllossom-3B는 한국어가 지원되지 않는 기본 모델을 한국어-영어로 강화모델입니다.
– 100% full-tuning으로 150GB의 정제된 한국어로 추가 사전학습 되었습니다. (GPU많이 태웠습니다)
– 굉장히 정제된 Instruction Tuning을 진행했습니다.
– 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.
– LogicKor 기준 5B이하 최고점수를 기록했고 6점 초반대 점수를 보입니다.
– Instruction tuning만 진행했습니다. DPO 등 성능 올릴 방법으로 튜닝해보세요.
– MT-Bench, LogicKor 등 벤치마크 점수를 잘받기 위해 정답데이터를 활용하거나 혹은 벤치마크를 타겟팅 해서 학습하지 않았습니다. (해당 벤치마크 타게팅해서 학습하면 8점도 나옵니다…)
언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.
1. Bllossom은 AAAI2024, NAACL2024, LREC-COLING2024 (구두) 발표되었습니다.
2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!!
요걸 사용해서 ollama에서 한국어도 돌려보겠습니다.
