1. 서론: AI 디지털교과서(AIDT) 시대, LLM의 블랙박스를 깨는 '토크나이징' 원리 교육

2026년 공교육 현장의 가장 큰 화두는 국가 주도의 AI 디지털교과서(AIDT) 도입과 초·중·고 정보 교육과정의 인공지능 기초 원리 교육입니다. 하지만 기존 교육 환경에서 인공지능 수업은 웹 브라우저로 상용 챗봇에 프롬프트를 입력하고 결과를 관찰하는 피상적인 '소비자형 교육'에 머무르는 한계가 있었습니다.

거대 언어 모델(LLM)이 인간의 언어를 수치화된 벡터로 처리하는 출발점이자 핵심 메커니즘은 바로 토크나이징(Tokenization)입니다. 왜 한국어는 영어보다 토큰을 더 많이 소모하는지, Byte Pair Encoding(BPE) 알고리즘이 어떻게 빈도수 기반으로 어휘 사전(Vocabulary)을 압축하는지, 숫자는 왜 자릿수별로 쪼개지는지를 직접 눈으로 확인하지 않고서는 생성형 AI의 본질을 이해할 수 없습니다.

ZeliDesk의 교육용 토크나이저 스위트 tLM은 인터넷 연결이나 외부 클라우드 통신 없이, 교실 PC 내에서 순수 온디바이스(On-Device)로 작동하는 6탭 완성체 토크나이저 인터랙티브 학습 엔진을 제공합니다. 본 백서에서는 tLM의 아키텍처와 게이미피케이션 엔지니어링 설계를 상세히 소개합니다.

2. tLM 6탭 통합 파이프라인: 기초 분해부터 실제 거대 모델까지

tLM은 학생의 인지 발달 단계와 수업 시수에 맞추어 점진적으로 난이도를 높여갈 수 있도록 6단계 탭으로 완벽하게 체계화되어 있습니다:

tLM 6대 인터랙티브 탭 아키텍처 Structure Matrix 
┌────────────────────────────────────────────────────────────────────────────────────────┐
│                                   tLM 6탭 완성체 구조                                  │
├─────────┬───────────────────┬──────────────────────────────────────────────────────────┤
│ 탭 1    │ 단순 토크나이저   │ 공백 분리, 음절 분리, 형태소 단위 분해 기본 원리 시각화  │
├─────────┼───────────────────┼──────────────────────────────────────────────────────────┤
│ 탭 2    │ BPE 시각화        │ 슬라이더(0~1200)로 병합 규칙을 한 단계씩 재생하는 애니메이션│
├─────────┼───────────────────┼──────────────────────────────────────────────────────────┤
│ 탭 3    │ 실제 모델 비교    │ Qwen 2.5, Llama 3, DeepSeek R1 GGUF 어휘 사전 직접 파싱  │
├─────────┼───────────────────┼──────────────────────────────────────────────────────────┤
│ 탭 4    │ AI 튜터           │ 상주 sLM이 진행하는 4개 챕터 1:1 대화형 토크나이저 강의  │
├─────────┼───────────────────┼──────────────────────────────────────────────────────────┤
│ 탭 5    │ 내 토크나이저     │ 학생이 직접 쓴 글(코퍼스)로 실시간 BPE 어휘 사전 빌드     │
├─────────┼───────────────────┼──────────────────────────────────────────────────────────┤
│ 탭 6    │ 퀴즈 & 챌린지     │ 토큰 수 추측 게임, BPE 병합 퀴즈, 3단계 배지(TlmProgress)│
└─────────┴───────────────────┴──────────────────────────────────────────────────────────┘

3. Byte-Level BPE 알고리즘의 온디바이스 인메모리 구현과 슬라이더 시각화

수학 시간에 삼각함수의 계수를 슬라이더로 조절하며 그래프의 주기가 변하는 것을 직관적으로 체득하듯, tLM은 병합 횟수(Merge Count) 슬라이더 하나로 문장이 바이트(Byte) 단위에서 복합 어휘 단위로 융합되는 과정을 0ms 실시간 렌더링합니다.

앱 수명 주기 동안 정적 캐시(s_model)로 유지되는 BPE 엔진은 1,200회의 빈도수 기반 쌍(Pair) 병합 테이블을 순차적으로 적용하며, 학생이 슬라이더를 0으로 설정하면 1바이트 1토큰으로 완전히 분해되고, 1000으로 올리면 자주 등장하는 단어들이 단일 컬러 칩으로 묶이는 시각적 피드백을 제공합니다.

4. GGUF 바이너리 모델 어휘 사전(Vocab) 제로카피 파싱과 IRealTokenizer

교과서 속 이론에 그치지 않고 실제 현업에서 사용되는 오픈소스 거대 언어 모델의 어휘 체계를 분석하기 위해, tLM은 GgufVocab.cs를 통해 GGUF 바이너리 파일을 직접 해석합니다:

tLM/Services/RealTokenizers.cs — GGUF 어휘 사전 제로카피 파싱 C# 
public interface IRealTokenizer
{
    string ModelName { get; }
    int VocabSize { get; }
    List<TokenChip> Tokenize(string text);
}

// Qwen 2.5(152K Vocab), Llama 3(128K Vocab)의 어휘 테이블을
// 앱 시작 시 단 1회 메모리에 매핑하여 재파싱 오버헤드를 원천 차단

학생들은 같은 한국어 문장("안녕하세요, 인공지능을 공부하는 학생입니다.")을 입력했을 때, Llama 3(영어 중심 128K 어휘)는 18개의 토큰으로 조각나는 반면, 다국어 지원이 강화된 Qwen 2.5(152K 어휘)는 단 7개의 토큰으로 압축되는 현상을 실시간 비교 대시보드를 통해 목격하게 됩니다.

5. 상주 sLM AI 튜터(TutorEngine): llama-cli 세션 생명주기와 대화형 샌드박스

선생님이 교실 내 40명의 학생을 일일이 개별 지도하기 어려운 현실을 극복하기 위해, tLM 창 내부에는 온디바이스 소형 언어 모델(sLM) 기반의 AI 튜터(TutorEngine)가 내장되어 있습니다.

외부 API 통신 없이 PC 내부에서 실행되는 상주 llama-cli 프로세스를 통해 구동되며, 1) 토큰이란 무엇인가, 2) BPE 병합의 수학적 원리, 3) 한국어와 영어의 토큰 효율 차이, 4) 임베딩 벡터와의 관계 등 4대 핵심 커리큘럼을 문답형으로 친절하게 설명합니다. 창이 닫힐 때 백그라운드 프로세스가 남지 않도록 TutorEngine.Dispose()에서 프로세스 트리를 강제 회수하는 워치독이 적용되어 있습니다.

6. 학생 주도형 실습과 게이미피케이션: 내 토크나이저, 챌린지, 및 TlmProgress.cs 로컬 배지

학생들이 가장 열광하는 기능은 '내 토크나이저(My Tokenizer)' 탭과 '토큰 수 추측 챌린지'입니다:

  • 내 토크나이저: 자신이 좋아하는 소설, 일기, 동요 가사를 입력창에 붙여넣고 [학습하기] 버튼을 누르면, 브라우저 없는 C# 순수 알고리즘으로 단 0.1초 만에 자신만의 맞춤형 BPE 어휘 사전을 생성합니다.
  • 토큰 수 추측 챌린지: 화면에 무작위 문장이 제시되면 몇 개의 토큰으로 쪼개질지 숫자를 맞히는 게임으로, 직관적인 언어 토큰 감각을 길러줍니다.
  • 3단계 배지 시스템: 누적 퀴즈 정답과 챌린지 점수에 따라 🥉브론즈(5점), 🥈실버(15점), 🥇골드(30점) 배지가 실시간 부여됩니다.
tLM/Services/TlmProgress.cs — 프라이버시 100% 로컬 영속화 C# 
public sealed class TlmProgress
{
    public int ChallengePoints { get; set; }
    public int QuizCorrect { get; set; }
    public int TotalScore => ChallengePoints + QuizCorrect;

    public int BadgeLevel =>
        TotalScore >= 30 ? 3 : TotalScore >= 15 ? 2 : TotalScore >= 5 ? 1 : 0;

    // %LOCALAPPDATA%\ZeliDesk\tLM\progress.json 에만 저장 (외부 전송 0바이트!)
    public void Save() { ... }
}

7. 교실 수업 최적화: 프로젝터 모드(📺), 300ms 디바운싱, 및 실습 리포트 마크다운 저장

학교 현장의 수업 실태를 깊이 배려한 특화 엔지니어링도 탑재되었습니다:

  1. 프로젝터 큰 글씨 모드(📺 토글): 교실 빔프로젝터나 대형 전자칠판에 화면을 공유할 때, 뒷자리 학생까지 선명하게 볼 수 있도록 토큰 칩 폰트와 여백을 1.5배 스케일업합니다.
  2. DispatcherQueueTimer 300ms 디바운싱: 학생이 타자기로 문장을 칠 때마다 즉시 재토큰화가 발동하여 UI가 멈추는 현상을 완벽 차단했습니다.
  3. 실습 리포트 Markdown 저장: 수업이 끝난 후 자신이 실습한 문장, BPE 병합 단계, 모델별 토큰 비교 결과를 단 한 번의 클릭으로 [학교명]_[학번]_[이름]_토크나이저_실습리포트.md 파일로 로컬 저장하여 교사에게 제출할 수 있습니다.

8. 결론: 외부 유출 0바이트, 사교육비 0원의 온디바이스 공교육 AI 표준

tLM은 AI 강국을 향한 대한민국 공교육의 이상을 현실의 데스크톱 소프트웨어로 완벽하게 구현한 모범 사례입니다. 값비싼 클라우드 API 구독료나 고가의 GPU 서버 인프라 없이도, 학교에 이미 보급된 일반 PC에서 학생들은 인공지능의 가장 핵심적인 작동 원리를 손으로 만지고 눈으로 확인하며 체득할 수 있습니다.

ZeliDesk 팀은 전국의 모든 학생과 교원이 기술적 격차 없이 최첨단 온디바이스 AI의 혜택을 누릴 수 있도록 교육용 오픈 프레임워크와 에이전틱 도구 고도화에 전력을 다할 것입니다.