TOTORONG/extGemma4-40_5B-STEM

extGemma4-40.5-STEM

모델 카드 (Model Card)

---

1. 모델 요약 (Model Summary)

extGemma4-40.5-STEM은 Google의 google/gemma-4-31B-it를 기반으로 STEM(과학·기술·공학·수학) 및 한국어 법률(민사법) 도메인에 특화되도록 파인튜닝한 대규모 언어 모델입니다.

본 모델은 Nextnine(넥스트나인)의 독자 기술력으로 개발된 Cascading Learning(단계적 연속 학습) 기법을 통해, Catastrophic Forgetting(파멸적 망각) 현상을 최소화하면서도 기존의 일반 지식을 유지하고 새로운 전문 분야 지식을 효과적으로 습득할 수 있도록 설계되었습니다.

• 개발자: Nextnine (경복대학교 창업보육센터 소속)
• 베이스 모델: google/gemma-4-31B-it
• 모델 크기: 약 40.5B 파라미터
• 아키텍처: Gemma4 기반, Hybrid Attention (Sliding + Full)
• 라이선스: 기본 모델 및 사용 데이터셋의 라이선스를 따름 (비상업적 연구 목적 권장)

---

2. 제작 목적 및 용도 (Intended Use)

Primary Use Cases

• STEM 분야 추론 및 문제 해결: 수학, 과학, 기술 관련 질의응답 및 설명 생성
• 한국어 법률 문서 이해: 민사법 등 법률 분야의 문서 분석, 요약, 판례 검토
• Chain-of-Thought(CoT) 연구: 단계적 추론 과정을 통한 정답 도출 능력 평가
• 연속 학습(Continual Learning) 기술 실증: Cascading Learning 기법의 효과 검증

Key Achievement

-

항목	점수
평균	0.584
KMMLU-Pro	0.702
CLIcK	0.853
HLE(Ko)	0.077
MuSR(Ko)	0.644
Com2-main(ko)	0.646

Limitations

• 본 모델은 연구 및 평가 목적으로 제작되었으며, 실제 법률 자문 또는 의료/금융 등 고위험 분야에 사용해서는 안 됩니다.
• 한국어 외 다른 언어에 대한 성능은 보장되지 않습니다.
• STEM 및 법률 도메인 외 일반 상식 질문에 대한 성능은 베이스 모델 수준을 유지하나, 특화 도메인 대비 상대적으로 낮을 수 있습니다.

---

3. 아키텍처 상세 (Architecture Details)

본 모델은 google/gemma-4-31B-it의 원본 60레이어 구조를 그대로 유지하며, 파인튜닝을 통해 도메인 적응을 수행했습니다.

3.1 기본 아키텍처 (Base모델에서 변경 없음)

3.2 Cascading Learning (단계적 연속 학습)

본 모델의 핵심 기술인 Cascading Learning은 AI의 대표적 난제인 Catastrophic Forgetting(파멸적 망각) 을 해결하기 위해 Nextnine이 자체 연구한 학습 방법론입니다.

• 정의: 하나의 AI 모델이 기존 성능 저하 없이 여러 전문 분야를 순차적으로 학습할 수 있도록 하는 연속 학습(Continual Learning) 기법.
• 효과: 새로운 도메인(STEM, 법률 등)을 학습하는 과정에서 이전에 습득한 일반 지식 및 추론 능력의 급격한 손실을 방지.
• 적용 방식: 파인튜닝 과정에서 도메인별 데이터를 단계적으로 구성하여 학습함으로써, 모델이 기존 가중치를 보존하면서도 새로운 패턴을 효과적으로 흡수할 수 있도록 설계되었습니다.

---

4. 학습 데이터 (Training Data)

본 모델은 아래의 데이터셋을 참조하여 Instruction Tuning 및 도메인 적응형 사전학습을 수행했습니다.

데이터셋	출처	용도
민사법 LLM 사전학습 데이터	AIHub (https://aihub.or.kr)	법률 도메인 적응형 학습
민사법 Instruction Tuning 데이터	AIHub	법률 QA 및 추론 튜닝
KMMLU-PRO	HAERAE-HUB (arXiv:2402.11548)	한국어 다중 분야 추론 평가 및 학습
CLiCK	EunsuKim/CLiCK (HuggingFace)	한국어 대화 및 지식 추론 데이터

참고: 데이터셋별 라이선스 및 이용 조건은 각 데이터셋의 원본 페이지를 따릅니다.

---

5. 평가 및 성능 (Evaluation)

5.1 K-AI 리더보드 성과

본 모델은 NIA(한국지능정보사회진흥원) 가 구축한 평가 데이터를 활용하여 성능을 검증받았습니다.

제출일시:

평가 항목	점수
KMMLU-Pro (한국어 다중 분야 추론)	0.702
CLIcK (한국어 대화 및 지식 추론)	0.853
HLE(Ko) (고난도 한국어 이해)	0.077
MuSR(Ko) (한국어 다단계 추론)	0.644
Com2-main(ko) (한국어 종합 이해)	0.646
평균	0.584

5.2 Cascading Learning 효과

• 기존 모델 대비 도메인 특화 성능 유지하면서도 일반 추론 능력의 저하를 최소화한 것이 확인되었습니다.
• 연속 학습을 통해 여러 전문 분야를 순차적으로 학습하더라도 이전 지식이 보존됨을 입증했습니다.

---

6. 사용 방법 (Usage)

6.1 권장 실행 파라미터 (Inference)

--temp 1.0 \
--top-p 0.95 \
--top-k 64 \
--min-p 0.00

6.2 Transformers 예제

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "TOTORONG/Solon_Athens_v5_STEM-31B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

inputs = tokenizer("한국의 민법 제1조는 무엇인가요?", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=512, temperature=1.0, top_p=0.95, top_k=64)
print(tokenizer.decode(outputs[0]))

6.3 llama.cpp (GGUF) 사용 예시

./llama-cli -m Solon_Athens_v5_STEM-31B.gguf -p "민법상 계약의 성립 요건을 설명해주세요." -n 512 --temp 1.0 --top-p 0.95 --top-k 64

---

7. 라이선스 및 사용 제한 (License & Restrictions)

• 본 모델은 학술 연구 및 비상업적 목적으로만 사용할 것을 권장합니다.
• 모델 및 데이터셋의 라이선스는 각각의 원본 저작권자 및 배포처의 조건을 따릅니다.
  • 베이스 모델: google/gemma-4-31B-it (Google Gemma 라이선스)
  • 데이터셋: 각 데이터셋 페이지에 명시된 라이선스 준수 (명시되지 않은 경우 원저자의 의도를 존중하여 연구/비상업적 용도로 제한)
• 본 모델은 실제 법률 자문, 의료 진단, 금융 결정 등에 사용될 수 없습니다.

---

8. 인용 (Citation)

본 모델을 연구에 활용하실 경우 아래와 같이 인용해 주시기 바랍니다.

@misc{nextnine_solon_athens_v5_stem_2026,
  author = {Nextnine (Kyungbok University Startup Incubator)},
  title = {extGemma4\_STEM-40.5B: Fine-tuned Gemma4 for Korean Legal and STEM Reasoning with Cascading Learning},
  year = {2026},
  publisher = {Hugging Face}
}

---

9. 문의 (Contact)

• 개발자: Nextnine (경복대학교 창업보육센터)
• 대표: 박정준
• 기술고문: 박성진
• 이메일: (추후 업데이트 예정)
• 웹사이트: (추후 업데이트 예정)

---

모델 카드 버전: 1.0 (2026년 6월)