미니블로그

[LLM] Prompt Engineering이란?

ru-yeon — Mon, 27 Oct 2025 04:36:39 +0900

자료출처 : <지식 사전> 프롬프트 엔지니어링이란 ① - Chat-GPT(LLM)를 스마트하게 활용하는 방법

<지식 사전> 프롬프트 엔지니어링이란 ① - Chat-GPT(LLM)를 스마트하게 활용하는 방법

안녕하세요! 오늘부터 프롬프트 엔지니어링이라는 흥미로운 주제에 대해 함께 알아보려고 합니다. 프롬프트 엔지니어링은 Chat-GPT와 같은 AI 모델과 효과적으로 소통하기 위한 방법인데요, 이를

blog.kakaocloud.com

LAB실 과제에서, LLM이 탑재된 어플리케이션의

"프롬프트 엔지니어링"에 대한 공부가 필요해 공부한 내용을 정리하였다.

0. 어플리케이션에 대해서..

어플리케이션의 전체적인 개발은 용역 업체에 맡겨 진행하였다.

용역을 맡긴 입장이었기에, 개발해주시는 과정과 결과물을 중간중간에 전달받아 확인하였다.

확실히, 기업은 달랐다. (특히 개발속도가 말도안되게 빠르다..)

APP은 개발이 되었으니, 그 안에 들어갈 내용적 플랫폼과 LLM은 우리가 진행이 필요한 상황이다.

나는 여기서, LLM에 대한 부분을 맡았으며, Prompt Engineering에 대한 공부가 필요하였다.

찾아보니, LLM을 탑재한 기술을 적용하면 2가지로 나뉘는 것 같았다.

LLM을 Fine-tuning 진행하여, 특화 LLM 개발
LLM을 활용하여, Prompt Engineering과 RAG 등을 활용하여 "LLM을 써봤다".

보통 메인으로 가져가는 연구나 기업에서의 개발에서는, 전자를 많이 따르는 것 같더라.

그런데 우리는 "LLM을 써봤다."로 가고 있다.

1. Prompt Engineering이란?

Prompt Engineering(이하 “프롬프트 엔지니어링”)은 인공지능(AI) 모델, 그 중에서도
특히 자연어 처리(NLP) 모델(ex. GPT, Solar Pro2, Clova 등)과 효과적으로 소통하기 위해
입력 텍스트(프롬프트)를 설계하고 최적화하는 과정을 말함.

eg.) 우리는 코끼리 그림을 그려달라고 요청하고 싶음.
그럼 아래 2가지의 예시를 보자.
A) 김XX(인간)이, GPT(LLM)에 “코끼리를 그려줘” 라고 질문을 함.
B) 김XX(인간)이, GPT(LLM)에 “회색에 덩치가 아주 큰 상아가 달린 코끼리를 그려줘” 라고 질문을 함.

위 두 질문을 보면, (B)의 질문이 좀 더 명확함.
이런 것을 프롬프트 엔지니어링이라고 하는데, 어려운 것도 아닌데 LLM 답변의 성능을 유의미하게 끌어올려줌.

2. Prompt Engineering의 기본 구성 요소는?

결론부터 말하면, 아래 4가지이다.
1. 명확성(Clarity)
2. 구체성(Specificity)
3. 문맥(Context)
4. 의도(Intent)

기본 구성 요소	설명 및 예시
명확성 (Clarity)	프롬프트는 AI 모델이 이해하기 쉽도록 명확하고 간결해야 함. eg.) “부산의 날씨에 대해 알려줘” 보다는, “오늘 부산 해운대의 날씨가 어떤지 자세히 설명해 줘”가 더 명확함.
구체성 (Specificity)	프롬프트는 원하는 출력을 얻기 위해 필요한 정보를 구체적으로 제공해야 함. eg.) ”건강한 아침 식단” 보다는, “낮은 칼로리, 고단백의 체중 감량을 위한 아침 식단”이 더 구체적임.
문맥 (Context)	프롬프트는 AI 모델이 적절한 맥락에서 생성할 수 있도록 충분한 배경 정보를 제공해야 함. eg.) ”제주도 여행 계획 세워줘” 보다는, “다음 달 제주도로 3박 4일 가족여행을 갈 계획이야. 맛집/관광지/숙소 추천해 줘”가 더 많은 문맥을 제공함.
의도 (Intent)	프롬프트는 사용자의 의도를 명확히 전달하여, AI 모델이 원하는 방향으로 생성할 수 있도록 해야 함. eg.) ”태백산맥에 대해 설명해 줘”보다는, “태백산맥의 지형적 특징과 생태계에 대해 자세히 설명해 줘”가 더 명확한 의도를 전달함.

3. 우리 앱에서의 적용 방안

우리 어플리케이션은, 단순 질문-답변(Q&A)뿐만 아니라,
"심리-정서적 맥락을 이해하고, 공감하는 상담형 AI 서비스"임.

→ 따라서, 프롬프트 엔지니어링은 "AI가 어떤 상담사처럼, 어떤 상황에서, 어떤 말투로 말할지"를 설계하는 과정으로 이해하면 편하다.

구분	설명 및 예시
역할 (Role)	AI가 어떤 “인물/전문가”처럼 행동해야 하는지 지정 eg.) ”너는 한국에서 활동하는 공감적인 아동청소년 전문 심리상담사야”
상황 설정 (Context)	사용자가 처한 상황이나 감정을 전달 eg.) ”사용자는 최근 불면증으로 피로감을 호소하고 있어.”
말투 (Style)	응답의 어조, 문체, 길이, 표현 방식 eg.) *”부드럽고 단정한 어조로, 3문장 이내로 답해” 답변의 길이 설정 등도 포함됨.**
출력 규칙 (Output style)	응답 구조를 미리 정의함. eg.) ”답변을 진행할 때는, 공감→ 간단한 요약→ 자기성찰형 질문 순서로 말해”

4. 추가로..

찾아보니, 사용하려는 LLM API에 따라서

적용되는 Prompt Engineering 가이드북 같은 내용들이 존재한다.

그래서, 이후 공부해야 할 내용은 아래가 맞을 것 같다.

우선 LLM이 확정되지 않았으니, 대중적인 GPT Prompt 관련 공부를 한다.
그동안 LLM이 확정되면, 해당 LLM에 대한 Prompt를 공부한다.

[정리] [Upstage] AI 스타트업 개발자는 어떤 툴을 사용할까? Cursor 사용후기

ru-yeon — Thu, 15 May 2025 16:42:34 +0900

영상출처 : [Upstage] AI 스타트업 개발자는 어떤 툴을 사용할까? Cursor 사용 후기 ✨

본 글을 Upstage의 Cursor 사용 후기를 정리한 글입니다.

보다 자세한 내용은 영상자료를 권장드립니다.

0. 왜 정리하게 되었는가?

다들 Coding Assistants Tools를 사용한다고 듣긴 함.
옆방 석사님이 Cursor를 추천해주심.
→ 우리 연구실은 선배님들이 다 졸업하심...
학부때 사용하던 Jupyter Notebook에서 VS Code로 이제 막 넘어와서, 바꿀거면 지금이 적기라고 생각함.
근데 유료임(월 $20 | 한화 약 28,000원).
→ 사용중인 구독서비스들을 해지하고, 1달 써볼까 하던 중에...!
Upstage에서 Cursor 사용후기~~(영업)~~를 진행하여, 청강하게 됨.

1. Introduction

현 개발자들은, 바이브 코딩을 하고있음.

Vibe Coding이란?

안드레 카파시(Open AI 공동창립자)가 처음 사용한 용어로,
코딩 작업의 공수를 줄이고, LLM과 소통하면서 "바이브"에 맡기고 개발한다는 의미
가능해진 이유:
"Cursor" 등 툴의 발전과 "Claude Sonnet" 등 모델 성능이 크게 상승하였기 때문!

1세대 Coding Assistant - Github Copilot (2022 - 2023)

Github Copilot의 장점은,
기존의 ctrl+c/v Coding을, tab Coding으로 변화시킴. 반복적 코드 라인 효율 상승.
편하다의 영역이지, 메인 로직을 맡기기엔 부족함.

Cursor의 등장

기존 Github Copilot의 기능을 모두 가지고 있으며,
VS Code를 기반으로 만든 IDE라서, VS Code 유저들이 사용하던 세팅(테마, Extension) 유지가 가능함.
추가로,
Cursorrules등 IDE와 강결합된 편의성과 바이브코딩 최적화된 UI로, 다양한 모델을 직접 선택 가능함.

Cursor는 1년만에 ARR 1억 달러를 돌파함.

2. Cursor, 어디까지 써봤니?

Upstage 직원 인터뷰를 통해, Cursor 사용후기를 공유함.

인터뷰 대상
1. Upstage 내 SW Engineer 14명
2. Upstage 내 AI Researcher 5명

인터뷰 목적
1. Cursor 어떻게 쓰고 있나?
2. Cursor 기능, 어디까지 사용하고 있나?
3. Cursor의 장/단점

Cursor 업무 의존도

SWE의 33%가 없으면 일 못함이라고 답변함.
AIRE는, 그정돈 아닌데, 다들 좋아함.

주요 활용 사례

AIRE들은, 하이퍼파라미터 수정에서 편의성을 느낌.

Prompt 작성을 요청하니, 엄청 좋았다.
tab 개발이 엄청 좋았다.

종합적인 후기 - 빨라서 좋다

시간절약 관점에서 50 - 70%의 업무 효율성 증대
단순 반복 업무에서 강력하며, 다룰 수 있는 업무가 확장됨(Rust 잘 모르는데, 보조해줘서 가능)
Opensource를 뜯어고치는데, 두렵지 않아짐.
단, code의 품질이 좋아지는 개념은 아니다. (업무 속도 향상에 초점을 가짐)

Cursor의 Level을 나눈다면?

위 단계는, 공식적인 단계는 아님.

Level 1 : 0명
Level 2 : 6명(33.33%)
Level 3 : 7명(38.88%)
Level 4 : 3명(16.66%)
Level 5 : 2명(11.11%)
대부분 Level 2, 3에 머물러 있음.

Cursorrules 활용방법

Cursor를 잘 사용하려면, Cursorrules를 잘 사용해야 한다.
Cursorules란?
Cursor가 사용하는 LLM에게 함께 전달되는 Prompt를 작성해둔 것.
프로젝트에 맞는 기술 스택, 폴더 구조, 코딩 컨벤션 등 명시 가능함. (편하다!)
Cursorrules의 종류 2가지
- User Rules : Cursor Setting에서 정할 수 있는 Rules로, 한 번 세팅하면 Cursor의 모든 기능에 자동 적용!
- Project Rules : 프로젝트 폴더 내에 있는 .cursorrules 파일에 따라 적용되는 rule로,
  프로젝트/폴더 별로 다른 rule이 적용 가능하게 함.
Awesome-Cursor-rules!
- https://github.com/PatrickJS/awesome-cursorrules 프로그래밍 언어/프레임워크별
  좋은 Cursorrules를 큐레이션해둔 레포지토리 존재
★ Mention Folder
- Context Mention(@) 기능
  - 단순 chat 형태로 물어보기보단, Agent가 필요 파일을 읽을 수 있도록 다양한 Context를 넣어야 함.
  - Slack Mention하듯, @ 누르면 다양한 옵션 선택 가능.
- 하나의 파일에서 답변이 가능한 질문의 경우:
  - 함수 자체를 mention하거나, 특정 파이릉ㄹ context로 넣고 질문
- 여러 파일을 참고해야 하는 경우:
  - 폴더를 통째로 context에 넣고, chat mode를 Agnet로 설정하면,
    필요한 파일을 직접 읽으면서 수정을 진행

Add Docs
- Doc Context
  - 공식 문서를 바탕으로 답변 생성 요청할 경우 사용
  - mention(@)후, Docs 버튼을 누르면, 자주 사용된 문서가 보임
  - 이를 통해, 할루시네이션 감소 및 가장 최신 문서를 넣어,
    최신 라이브러리로 바로 활용이 가능함.
- Add new doc
  - Doc Page의 Prefix와 Entrypoint를 적절히 넣으면,
    해당 웹 문서를 바탕으로 답변을 생성함.
- Web Context
  - 개발도중, 구글링이 귀찮을 경우,
    Cursor chat에서 @web을 하여 궁금한 점을 물어보면, 웹 기반 답변을 생성함.
- URL Mention
  - Tech blog 글에서 인사이트를 얻어, 개발에 활용하고 싶을 때 사용
    * Link를 mention에 그대로 넣으면 된다.
  - 이후, Agent가 알아서 읽고, 인사이트를 반영한 코드를 생성함.
    솔직히, 지금의 나한텐 이게 제일 좋은 기능같음.
Cursor Setting 추천!
- Cursor Setting → Features
  - Include Project Structure
    - cursorrules에 명시 안해도, 알아서 폴더 구조 들어감
  - Large Context
    - Context Length 크게 증가, 코드 이해 정확도 높아짐
  - Web Search Tool
    - Agent가 자의적으로 필요한 경우, Web 검색을 사용하도록 함.
    - Agent가 잘 모를 경우, web검색을 통해 개선할 수 있도록 하는 것!
결과물!

3. Cursor 숙련도 Level 5 맛보기

이건, 바이브코딩도 아니고 자동화라고 할 수 있다.
이건 영상으로 보세요.
중요한 것
- Task Master MCP

4. Conclustion

사내에 많은 사람들이 Cursor를 통해 업무 효율이 향상됨
Copilot을 사용하던 사람들은, Cursor의 기능을 잘 모르는 경우가 대다수(Level 2, 3)
AI Tool을 통해, 사용 Level이 오른다면, 유능한 1명이 10명팀 수준의 생산성을 가질 수도..!

5. 내 생각

Cursor가 업무 효율성 향상에 초점을 두고 있어,
AI 연구를 진행하는 나는 "잘 모르겠다" 였다.
대학생은 Copilot이 무료라서 그런 것도 있다.
그래서, Cursor 결제는 안하고,
영문학생증 뽑아서 Copilot Students benefit 신청해서 Accepted 되었다.
직장 다니고 써도 늦지 않을 것 같다고 생각한다.
- 이유는, 논문 코드를 보고,
  이해가 안되는 부분을 GPT와 Copilot을 이용하는 정도만 사용한다.
- 내가 공부하다가 막힌 부분만 AI Assistant Tool을 사용하는게 맞다고 생각하기에,
  학생일 때는, 사용하지 않기로 하였다.

[정리] 밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024

ru-yeon — Tue, 22 Apr 2025 03:42:43 +0900

기술정리 : 밑바닥부터 Kanana LLM 개발하기: Pre-training
보조자료 : 밑바닥부터 시작하는 LLM 개발기
Youtube : 밑바닥부터 Kanana LLM 개발하기: Pre-training

밑바닥부터 시작하는 LLM 개발기

본 글은 Kanana Essence & Nano에 대한 공부&정리글입니다.

Notion에 정리한 글을 Ctrl C+V한 것으로,
요약본을 보고싶다면 GPT에 넣으십시오.

보다 자세한 내용은 1. 기술정리, 2. Youtube + 보조자료 순서로 권장드립니다.

김보섭 mat.mul (pre-training) -18:30

Data strategy

학습데이터 수집 방법론

애초에 Staged- pretraining을 염두하고 학습데이터를 수집
- Staged-pretraing이란?
  - Stage 후반부에, 고품질의 데이터 왕장 넣어 학습하는 방식
kanana 언어모델의 학습데이터는, two-staged-pretraining을 사용
- Stage1 : Data diversity & Quantity(데이터 다양성 & 양)
  → 지금 나처럼 지식이 부족할 때, 논문만 보는게 아닌 이것 저것 다 주워먹는 단계
- Stage2: Data Goal & Quality(데이터 목표 & 품질)

수집된 학습데이터 분포

5T(5조) 가량의 학습데이터를 수집
- 학습에 사용해도 상관없는 라이센스에 해당하는 말뭉치를 수집 & Goal 별로 분류
  * 라이센스(e.g., apache-2.0, cc-by-4.0 등)
- (Data) Goal에 대한 명확한 분류는, 연구자들 사이에서도 정의되지 않음
  → Kakao만의 정의를 내리고, 수집한 말뭉치를 분류
  Goal이 Common sense & General knowledge 인 경우, FineWeb/DCLM-baseline과 유사한 방식으로 진행
  
  개인정보 익명화/제거가 해당 부분에서 적용
이런 과정(Education scorer를 학습시키는 방법)을 기반하면,
Edu scorer 기반으로 데이터를 선별한 경우 성능이 훨 뛰어남을 확인함.

동일한 양의 데이터에서, Edu scorer 기반이 bench-mark에서 성능이 뛰어남. 이는, high-quality인 stage 2에 사용하게 됨.

영어인 경우(학습 데이터가), stage1/stage2의 학습데이터 구성을 위해,
DataCompLM의 FastText 기반의 quality 모델을 사용함.
Goal이 Code인 경우,
stage1 : starcoderdata, TheStackV2 등 Opensource code 말뭉치
stage2 : stage1에서 골라낸 python(자연어+코드) 관련 데이터 + 추가 SFT 데이터셋.
- TheStackV2는, Permissive license만 사용하여, 434B → 133B로 감소됨.
Goal이 wikipedia인 경우,
stage1 : 한국어, 영어를 포함한 29개 언어에 대한 wikipedia
stage2 : 한국어, 영어 중심의 wikipedia
- hugging-face-hub 등 공개된 위키피디아 말뭉치는,
  수식처리에서 문제가 있음을 확인.
  (e.g.) 코리올리 효과의 경우, 수식 많은데 다 날아가서, 자체적으로 수식처리를 진행함.
최종적으로,
Compute budget을 고려하여 5T 가량 토큰 중,3T 가량을 확보,
Stage1 (2.7T), Stage2 (0.3T)을 구성함.
- 학습데이터의 Goal별 distribution을 결정하기 위해서, ablation을 많이 수행함.

Training strategy

본 파트에서는,
채택한 모델/kanana essence Nano를 확보하기 위해 구사한 전략/stage1,2에서 Goal별 distribution을 결정하기 위한 ablation을 통해 결정한 내용 중점으로 소개함.
Kanana Essence를 먼저 개발, pruning & distillation 기법 적용으로 Kanana Nano를 학습하는 전략 채택

Kanana Essence
- llama와 유사한 구조를 채택,
  context length로 8k를 가지도록 학습함.
- 학습 하이퍼 파라미터는,
  DeepSeekLLM과 유사한 Multi-step learning rate scheduler를 사용함.

Stage1 학습의 Goal별 distribution 탐색을 위해
250B 가량의 Token budget으로 ablation을 진행.
한국에 관한 culture-knowledge 학습이 중요하기에,
한국어 벤치마크인 kmmlu, haerae의 점수를 고려하면서,
영어 벤치마크인 mmlu의 점수의 평균을 최대화하는 과정을 진행함.
- haerae를 포함한 이유:
  해당 연구는 llama2와 같이 오픈소스 모델의 경우, 한국어 말뭉치로 학습된 opensource 모델인
  Polyglot-Ko 대비 훨씬 낮은 성능을 보임.
  - 한국에 관한 culture-knowledge를 kmmlu보다 더 요구하는 벤치마크로 판단하게 됨.
Stage1의 ablation은 다음과 같이 진행함.
- 각각의 ablation에서 250B Token을 학습함.
- ablation0 : 2.7T을 학습할 예정이었으나, 250B만으로도 경향을 알 수 있었음.
- ablation1&3 : baseline 대비 모든 벤치마크에서 성능이 뛰어남.
- ablation3 : ablation1과 비교할 때, mmlu는 낮으나, haerae 벤치마크에서 성능이 뛰어남.
ablation 결과를 참고하여, ablation1&3을 모두 채택함.
- 추가로, Goal이 Common sense & General knowledge인 영어 말뭉치에 대하여,
  Quality scorer 기준으로, 저품질을 제외하는 방식으로 학습데이터를 구성한 결과,
  성능의 유의미한 차이를 확인함. 이 설정값을 stage1에 사용함.
선정된 학습방식 기반으로, two-stage pretraing의 stage1인 2.7T 토큰을 학습한 뒤, 6개의 벤치마크 성능을 확인함.
- 비슷한 크기의 llama-3.1-8b와 비교하였을 때, kmmlu, haerae에서 보다 뛰어난 성능을 보임.
- 수학/code 관련 벤치마크인 gsm8k, humaneval, mbbp에선 낮은 성능을 보임.
stage1 결과값을 개선하기 위해, stage2의 학습데이터 구성을 위한 17가지 ablation을 수행함.
- 6개 벤치마크 성능 평균이, llama-3.1-8b보다 높은 경우를 찾고자 함.
- 결과적으로, ablation12가 선정됨. (얼마나 많이 수행한거야..)

ablation을 통해 KAKAO가 배운점.
- Staged pretraining에서, Goal별 학습데이터의 distribution을 조정하는 과정이 중요함을 배움.
  이러한 과정은, 타 연구의 staged pretraining 활용 결과와 유사함을 나타냄.
- Stage2에서 high-quality data를 사용하기에, 적당히 큰 learning late 사용이 필요함을 배움.
- 어느정도의 code/math 관련 instruction data를 추가하는 과정이,
  특히 math 관련 벤치마크 성능 증대에 도움이 됨을 배움.
ablation 결과로 확인해보자
- baseline : stage1의 Goal별 distribution을 그대로 학습하는 경우, 성능 향상 거의 없음.
- ablation1 : ablation0에서 데이터만 고품질로 교체한 경우, 성능이 아주 조금 증가함.
- ablation1/2/3 : Goal별 distribution을 조정한 경우, 벤치마크 성능을 크게 끌어올릴 수 있었음.
- ablation11 : learning rate를 키우니, 고품질 데이터를 사용하는 경우, learning rate를 잘 사용하는 것이 중요함을 배움.
- ablation12 : SFT 데이터셋을 어느정도 사용하는 것이, Pretraining 관점에서 좋다는 것을 배움.

ablation12에서, stage3를 진행해보았음.
- Pretraining에서 자주 사용되는 기술인 annealing과 check-point avaraging을 통해, 벤치마크 성능을 끌어올림.
- 이 과정에서, code관련 벤치마크인 mbpp와 humaneval 성능을 끌어올리게 됨.
결과, llama-3.1-8b 대비 20%미만의 학습 데이터로, 더 좋은 성능을 pre-training 단계에서 달성함.
kmmlu와 haerae에서 타 모델 대비 좋은 성능임을 확인함.
Kanana Nano의 경우,
llama와 유사한 구조 채택, pruning & distilation 기법 적용에 앞서,
학습 레시피 검증을 위해, kanana essence 학습에 사용한 two-stage pretraining 레시피를 그대로 적용하여,from scratch로 학습을 진행
- Kanana Essence로부터 stage2에 활용한 데이터(0.3T)를 활용하여, pruning & distillation을 적용한 결과, 1/10의 데이터만 사용하고도 훨씬 더 좋은 모델을 학습할 수 있음을 확인함(벤치마크에서 from scratch보다 성능이 좋음을 확인).

Further work

Kanana Essence & Nano 개발에서, 성능 향상과 Kakao에서 추구하는 방향성에 대한 설명.
Kanana Essence
- gemma-2-9b, qwen2-7b 대비하여, 공통적으로 stem과 science관련 영역 성능이 떨어짐
  - Permisive lisence로만 학습데이터 말뭉치를 구성하여, 해당 영역 학습이 부족하다고 판단됨.
  - 이외 분야(코드, stem, applied science 등)도, 학습데이터 부족으로 판단됨.
  - 현재, 학습 데이터 부족 문제를 해결하여 Kanana flag 모델 학습 진행중임.

온경운 cloud.off (post-training)

Intro: Post-training이란?

Pre-training = 똑똑하게
Post-training = 말 잘 듣게
- ”원하는 것을 정확히 수행할 수 있는가?”

Preliminary: 보통 어떻게 하는가?

당부드리고 싶은 말.
- Pre-training과 Post-training의 비용 차이는 어마어마하다.
- Pre-training은 모델 라인업 등, 모델 확보가 중요한 이슈이고, Post-training은 말을 잘듣게 하는 레시피(알고리즘&데이터)의 확보가 중요함.
Post-training 2단계로 나눠 설명할 수 있다.
- Supervised Fine-Tuning (SFT)
  : 사용자의 입력 Prompt(instruction)에 맞는 response(answer)를 직접 생성하도록 학습함.
- Preference based Learning
  : 사용자의 입력 Prompt(instruction)에 상응하는 여러 개의 response(answer)를 통해 더 좋은 response를 강화하고, 안좋은 response를 약화하는 방향으로 학습.
- 일반적으로, Supervised Fine-Tuning을 하고, Preference based Learning 순서로 진행함.

Main result: 우리는 어떻게 했는가?

Kakao의 recipe(알고리즘&데이터)와 얻은 교훈을 공유하도록 하겠다.
Kakao Essence model을 Post-training한 결과를 타 모델과 비교한 표/그래프이다.
- 타 모델에 비해, 한국어 성능이 확연히 뛰어남.
Nano model을 비교한 결과, 아래 표처럼 나온다.
- Nano 모델 결과, 경향성은 비슷하나, 한국어에서 성능 갭이 커지는 현상.
  - 모델 사이즈가 작아질수록, multilinguality(다국어에 대한 능력)이 떨어지기 마련임.
  - 소형 모델에서, 자체 모델의 필요성이 더 커지지 않나 라고 해석이 가능함.

Key Lessons from Our Recipe (in Supervised Fine-tune)

실제 서비스를 사용하는 형태와 유사한 Prompt는 중요함.
- 보다 Natural하게 말하기에, 데이터도 유사하게 만드는 것이 유용함.
- 단순히 계속 질의만 던지는것이 아닌, LLM의 응답에 소통하는 방식으로 사용되고 있음.
- 실험결과, 성능적으로 유의미함을 확인함.
Prompt말고, response/answer의 quality는 중요함.
- 좋은 quality 답변을 학습한 모델이, 그렇지 않은 모델보다 성능이 높음.
- 좋은 답변은 계속 바뀔 수 있기에, 지속적으로 더 나은 답변을 제공하는 프로세스 구축함.
서로 다른 도메인(e.g, 코드, 수학, 조건 형식 등) 데이터셋은 각기 구축이 필요함.
- 각 도메인에 해당하는 데이터셋이 있어야 관련 능력이 발현됨.
- 각 도메인간의 유의미한 성능 간섭은 발생하지 않음.
  - 수학 관련 데이터를 넣었다고, code 관련 성능이 떨어지거나 그렇진 않다.

Key Lessons from Our Recipe (in Preference Learning)

4. Preference Data를 “잘” 만드는 것이 중요함.

도메인 별로 좋은 preference data를 만들기 위한 전략 수립이 필요함.
- “왼쪽과 오른쪽 중, 어떤 답변이 더 좋냐?”에서, 왼쪽의 답변이 더 자세히 기술되어 좋다고 생각하곤 함.
- 그러나, 왼쪽이 Nagative Response, 오른쪽이 Positive Response임.
  - 둘 다 답은 맞았으나, 왼쪽의 풀이과정이 틀렸기 때문임. 수학은 풀이 과정도 중요한 도메인임.
- 이처럼, 도메인마다 답변의 preference를 labeling할 수 있는 각기 파이프라인 구축이 필요함.

5. [onlineness] 학습 시점의 모델의 output을 직접 이용하여, preference를 학습하는 것이 중요함.

offline과 online의 데이터를 살펴보면, 왼쪽은 답변의 평가를 데이터로 학습하게 됨.
online은 데이터로는 prompt만 존재하고, prompt에 대하여 LLM이 생성된 답변을 외부 리워드 모델을 이용하여 평가를 받고, 그 정보를 기반으로 학습함.
- 모델의 현재 output을 가지고, 데이터를 만들어 학습한다는 것임.
- reward 모델 기반의 model output을 이용해, iterative하게 학습함.

Further work: 앞으로 어떻게 할건가?

Recipe 관점에서 Kakao가 추구하는 방향에 대한 설명.
두 가지 관점을 주목하고 있음
1. 실제 서비스를 사용하는 형태와 유사한 데이터 & Synthetic data generation 접근
  - 자연스럽고 다양한 형태의 instruction과, 모델과 소통이 자연스러운 multi-turn 대화
  - 사람으로부터 데이터를 생성하지 않고, 모델이 생성할 수 있는 방식을 연구중임.
    - MT 벤치 평가세트를 통하여, 모델과 소통이 자연스러운 Multi-turn 데이터가, 좋지 않은 Multi-turn 데이터에 비해 성능 향상이 뛰어남을 확인함.
    - 위 실험결과가 아니더라도 Multi-turn에 주목하는 이유는, GPT, Claude와의 차이점은 데이터라고 생각함.
    - Code /Math 도메인 한정하여, 초기 실험 결과가 유의미하였고 확장할 계획임.
2. Online (Self-play) preference learning
  - 기존의 Supervised 와 offline은, 정답을 보면서 학습(SFT) → 다른사람의 오답노트를 보며 학습.
  - Online은 모델의 출력을 가지고 학습하는 방식임.
    - 모델이 스스로 오답노트를 만들어 학습하는 과정임.
    - 최근 연구가 많이 진행되고 있는 분야(2024년 12월 기준).
    - Onlineness의 가장 높은 우선순위는, 좋은 reward model을 얻는 것임.
      - Rovust reward model 학습
      - Process supervision 연구
      - General preference with Nash equilibrium 기반 알고리즘 연구
        
        2024년 간간히 나오는 연구로, Nash equilibrium이란 개념으로 General perference를 정의한 알고리즘 연구.
        
        수학적 진입장벽으로, 활발한 분야는 아님. 그러나, onlineness 측면에서 접근할 부분이 보여 연구중임.

국내 LLM 공부를 해볼겸, Kakao의 Kanana에 대하여 알아보았다.

어렵다.

2025 K리그 직관후기, FC 서울 vs 광주 FC, 서울 월드컵경기장

ru-yeon — Sun, 20 Apr 2025 18:10:09 +0900

25년 4월 19일(토), 19시에 서울 월드컵경기장에서 진행된

K League 1 서울 FC vs 광주 FC 경기를 직관하고 왔습니다.

이날은 "우천취소 해야하는거 아니야?" 할정도로 비가 많이 왔습니다.

축구는 야구와 다르게 우천취소가 없다고 하더군여..

날이 좋지 않아 관람객이 적을 줄 알았는데, 많은 사람들이 이미 와계셨습니다.

저희도 푸드트럭 행렬에 참여하여, 야끼소바 & 타코야끼를 주문하였습니다!

푸드트럭 구역에 QR코드가 있는데, 하나의 QR에 모든 가게 주문이 가능합니다!

월드컵경기장 푸드트럭에서, 야끼소바가 유명하다 해서 사보았는데,

재료를 많이 넣어주셔서 맛있게 먹었답니다. 계란도 들어있을줄은 몰랏움!

2025년 4월 19일(토), FC 서울 vs 광주 FC

저희는 원정팀(광주 FC) 표를 구해서, 원정석으로 입장하게 되었습니다. 친구가 광주 FC 찐팬!

원정석은 남쪽에 위치하고 있습니다.

표를 뽑고 빙- 돌아 들어갑니다.

친구가 원정석 골키퍼 뒤로 표를 구해주어서

선수들을 엄청 가까이서 보게 되었습니다.

광주 FC 김경민 선수(GK, 골키퍼)께서 시작 전, 원정팀 팬들에게 인사를 하고 시작하였습니다!

처음 본 축구경기 직관은 "엄청 재밌다" 였습니다!

특히, 골대 뒤에서 경기를 보니까 탁 트인 시야가 좋았습니다.

이날 경기에서는 총 3골이 나왔습니다.

'43 | 광주 FC - 모라이스

'64 | 광주 FC - 박태준

'79 | FC 서울 - 린가드

승리 후, 팬들 앞에서 인사하는 광주 FC 선수들

2:1로 승리하고, 광주 FC선수들과 팬들이 기념촬영하는 시간도 가졌습니다.

광주 FC 이정효 감독님이 뛰면서 엄청 좋아하시더라구요.

광주 FC가 이 경기 이후,

ACLE(AFC 챔피언스 리그 엘리트) 경기를 위해 사우디아라비아로 가기 전날이라고 합니다.

이 안 어딘가에 저도 있습니다! 출처 : 한국프로축구연맹

골도 많이 터져 재미있었고, 기회가 되면 또 관람할 예정입니다 - !

FC 서울 굿즈가 검빨(검은색X빨간색) 조합이라 이뻐서 구경하고 싶었는데,

친구가 절-대 안된다고 ㅋㅋㅋ..

나중에 광주가서 광주 FC꺼를 보자고 하더라구요

인터넷도 있으니까 거기서 보라고 ㅠㅠ

굿즈는 다음 기회에 보도록 하겠습니다.

광주 FC X 폼폼푸린

K League X 산리오 콜라보 캐릭터가 귀엽더군요 ㅎㅎ

진짜 끝 - !

#0. AICE 자격증을 따보자!

ru-yeon — Wed, 16 Apr 2025 01:27:06 +0900

AICE 자격증에 대해 아시나요?

KT에서 개발하고, 한국경제신문과 공동주관하는 AI Certiticate for Everyone 이라는 자격증입니다.

AICE 바로가기

AICE는 총 5개의 종류로 나뉩니다.

저는 PROFESSIONAL과 ASSOCIATE를 눈여겨 봤습니다.

AICE 종류

PROFESSIONAL과 ASSOCIATE

PROFESSIONAL : 3문항 / 180분 / 120,000원 / 유효기간 3년
ASSOCIATE : 14문항 / 90분 / 80,000원 / 유효기간 3년 / 국가공인 민간자격

원래의 저라면 PROFESSIONAL을 고려해볼만 하였지만,

ASSOCIATE가 국가공인 민간자격이라고 하여 ASSOCIATE로 신청하였습니다.

PROFESSIONAL과 ASSOCIATE 내용

PROFESSIONAL과 ASSOCIATE의 내용은 위와 같습니다.

ASSOCIATE가 ML딴에서의 맛보기라면,

PROFESSIONAL은 ASSOCIATE의 내용을 실제로 이해하고 사용하는가? 를 확인하는 것 같습니다.

AICE는 어떤 장점을 가지고 있을까?

ASSOCIATE는 2025년 1월 1일부터 국가공인자격을 가지게 됩니다.

아직 국가공인 자격증이 운전면허 1종밖에 없는 저에겐 정말 좋은 기회로 와닿았습니다.

이력서에 1줄이라도 더 넣을 수 있습니다.

또, KT에서 개발·주관하여 관련 기업채용에서 우대사항으로 적용됩니다.

[TIP] 통신사가 KT라면, KT멤버쉽에서 할인받을 수 있습니다.

ASSOCIATE의 경우 80,000원이라는 학생에게는 꽤 비싼 비용이 지출되는데,

[ KT 멤버쉽 > 검색(제휴브랜드) > AICE ] 로 이동하면 20% 할인된 가격으로 응시가 가능합니다.

KT 이용자라면 꼭 사용하시길 바랍니다.

KT 멤버쉽 AICE 응시료 20% 할인

저는 ASSOCIATE를 신청하였기에 16,000원이 할인되어 총 64,000원만 결제되었습니다.

[번외] 주인장은 어떻게 AICE에 대해 알게 되었는가

저도 이 자격증을 알고 신청한 것은 아니였습니다.

어쩌다보니 도넛이 먹고싶었고(중요), KT멤버쉽에 던킨도너츠가 있나 확인해볼려 했는데,

AICE 자격증 20% 할인문구가 보였을 뿐입니다. ~~상술에 걸려든것이야!~~

ASSOCIATE가 우연히 국가공인 자격증이었고, 반기별로 자격증 1개씩은 따보자라는 생각을 하고있던 차였습니다.

시험일정을 찾아보니, 마침 2025년 2차시험 접수기간이었습니다(D-16).

2025년 AICE 2차 시험접수

이 상황을 친구에게 말했더니, "일단 해라."라 하여 눈떠보니 이미 결제를 하고있더군요.

충동결제

결제를 했으니, 저는 이제 시험을 보고 취득하며 됩니다.

모두 화이팅 - !