Windows 11 메모리 무결성(HVCI)과 미서명 Python DLL의 사투: 커널 보안 0xc0000428 극복기

1. 문제의 발단: "구형 컴퓨터에선 잘 되는데, 최신 노트북에서만 앱이 꺼져요"

ZeliGen을 일선 학교 컴퓨터실에 테스트 배포했을 때 기이한 버그 리포트가 접수되었습니다. 개발팀의 개발 머신(Windows 10, RTX 3090/4080)과 컴퓨터실의 오래된 데스크톱에서는 이미지 생성이 문제없이 팽팽 잘 돌아가는데, 최근 정부 디지털 교과서 사업으로 보급된 최신 Windows 11 노트북 및 최신 RTX 5090 탑재 PC에서만 이미지 생성 버튼을 누르면 Python 프로세스가 1초 만에 아무 에러 창도 없이 조용히 꺼져버리는 현상이었습니다.

터미널 콘솔도 뜨지 않고, 파이썬 트레이스백(Traceback)도 남지 않았습니다. 그저 Windows 이벤트 뷰어(Event Viewer)에만 알 수 없는 크래시 로그가 한 줄 찍혀 있을 뿐이었습니다.

2. 범인은 Windows 11의 Core Isolation (HVCI) 커널 격리

수일간의 덤프 분석 끝에 밝혀진 원인은 바로 마이크로소프트가 최신 Windows 11 PC에 기본 활성화(Default ON)하도록 강제한 코어 격리(Core Isolation) / HVCI (Hypervisor-protected Code Integrity, 가상화 기반 코드 무결성)였습니다.

Windows 10 시절에는 이 기능이 꺼져 있거나 옵션이었으나, 최신 납품되는 상용 OEM 윈도우 11 노트북은 보안 인증(Secured-core PC) 기준에 따라 HVCI가 100% 강제 켜진 상태로 출하됩니다.

[ Windows 11 HVCI 차단 원리 ]
1. 프로그램이 DLL 로드를 시도 (LoadLibraryEx)
2. 하이퍼바이저(Hypervisor)가 해당 DLL이 위치한 디렉토리와 코드 서명을 검사
3. 조건: 파일이 C:\Users\...\AppData 같은 사용자 쓰기 가능 폴더에 있는가? (YES)
4. 조건: 해당 DLL/PYD 파일이 Microsoft WHQL 정식 디지털 서명을 가졌는가? (NO)
5. 결과: 악성코드 주입으로 간주 -> 커널 레벨에서 STATUS_INVALID_IMAGE_HASH (0xc0000428) 반환 및 강제 Kill!

3. 왜 오픈소스 AI 바이너리는 HVCI에서 사형 선고를 받는가?

오픈소스 파이썬 생태계(PyTorch, Diffusers, Safetensors, C++ 바인딩 .pyd 파일)의 수많은 네이티브 바이너리들은 오픈소스 커뮤니티에서 빌드된 파일들입니다. 이 파일들은 마이크로소프트에 거액의 심사비를 내고 받는 공인 WHQL 인증서로 서명되어 있지 않습니다.

사용자 편의를 위해 파이썬 런타임을 %LocalAppData%(학생 계정 쓰기 허용 경로)에 포터블로 설치하는 순간, 최신 윈도우 11의 HVCI 보안 엔진은 이를 "사용자 영역에서 실행되는 출처 불명의 미서명 코드 실행 공격"으로 규정하고 칼같이 차단했던 것입니다.

4. ZeliDesk의 해결책: DiagnoseRuntime 엔진과 stderr 링버퍼 탐지

ZeliDesk는 프로세스가 죽더라도 사용자가 당황하지 않고, 현장 교사가 1초 만에 원인을 규명할 수 있도록 C# 기반 지능형 런타임 진단 시스템(DiagnoseRuntime)을 구축했습니다.

① 파이썬 기동 전 정적 바이너리 사전 검증

// PythonGenerationService.cs 의 정적 검증
public static DiagnoseResult DiagnoseRuntime()
{
    string envPath = GetEffectivePythonEnvPath();
    // 1. 필수 DLL 물리 파일 존재 여부 검사
    string[] required = { "python.exe", "python311.dll", "vcruntime140.dll", "vcruntime140_1.dll" };
    // 2. VC++ 2015-2022 재배포 패키지 레지스트리 설치 상태 확인
    // 3. 테스트 프로세스 1회 스폰하여 0xc0000428 exit code 발생 여부 진단
}

② 실시간 stderr 링버퍼(Ring Buffer)와 HVCI 키워드 감지

파이썬 프로세스가 예기치 않게 종료될 경우를 대비해, 최근 50줄의 에러 스트림을 메모리 큐(Queue)에 실시간 보관합니다. 종료 코드가 0xc0000428이거나 버퍼에 무결성, integrity, hash 등의 키워드가 감지되면 앱 화면에 즉시 친절한 안내를 제공합니다:

"⚠️ 최신 Windows 11 보안(메모리 무결성)에 의해 AI 엔진이 차단되었습니다.
설정 > 개인 정보 및 보안 > 장치 보안 > 코어 격리에서 '메모리 무결성'을 일시 해제하시거나,
ZeliDesk 진단 도구를 통해 신뢰할 수 있는 경로로 예외를 등록하세요."

5. 결론: 교육용 소프트웨어가 갖추어야 할 차세대 보안 면역력

공교육과 국방 분야에 도입되는 소프트웨어는 가장 엄격한 윈도우 보안 정책 속에서도 살아남아야 합니다. ZeliDesk는 단순히 "돌아간다"에 만족하지 않고, 최신 OS의 보안 아키텍처를 깊이 파고들어 문제가 발생하기 전에 사전 차단하고, 발생하더라도 교사가 엔지니어 없이 해결할 수 있는 자가 진단 체계를 완성했습니다.