[정리] 밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024

기술정리 : 밑바닥부터 Kanana LLM 개발하기: Pre-training보조자료 : 밑바닥부터 시작하는 LLM 개발기Youtube : 밑바닥부터 Kanana LLM 개발하기: Pre-training 밑바닥부터 시작하는 LLM 개발기 본 글은 Kanana Essence & Nano에 대한 공부&정리글입니다.Notion에 정리한 글을 Ctrl C+V한 것으로,요약본을 보고싶다면 GPT에 넣으십시오. 보다 자세한 내용은 1. 기술정리, 2. Youtube + 보조자료 순서로 권장드립니다.김보섭 mat.mul (pre-training) -18:30Data strategy학습데이터 수집 방법론애초에 Staged- pretraining을 염두하고 학습데이터를 수집Staged-pretraing이란?Stage 후반..