Azure App Service 2GB 업로드 한계 돌파: ZeliDesk의 64비트 정밀 분할(Split Upload) 및 서버 측 merge-parts 원자적 스트리밍 병합 파이프라인

# 64비트 [long] 캐스팅으로 2GB 초과 정수 오버플로우 원천 방어
[long]$chunkSize = 1610612736  # 1.5 GB
[long]$zipSize = (Get-Item $zipFile).Length
$needsSplit = $zipSize -gt $chunkSize

if ($needsSplit) {
    $reader = [System.IO.File]::OpenRead($zipFile)
    $buffer = New-Object byte[] (65536) # 64KB 스트리밍 버퍼
    $partNum = 1
    [long]$bytesRemaining = $zipSize
    $parts = @()

    while ($bytesRemaining -gt 0) {
        $partFile = Join-Path $partDir "python_env_cuda128.zip.part$partNum"
        [long]$partSize = if ($chunkSize -lt $bytesRemaining) { $chunkSize } else { $bytesRemaining }
        $writer = [System.IO.File]::OpenWrite($partFile)
        $written = 0

        while ($written -lt $partSize) {
            [int]$toRead = if ($buffer.Length -lt ($partSize - $written)) { $buffer.Length } else { $partSize - $written }
            $read = $reader.Read($buffer, 0, $toRead)
            if ($read -eq 0) { break }
            $writer.Write($buffer, 0, $read)
            $written += $read
        }

        $writer.Close()
        $parts += $partFile
        $bytesRemaining -= $written
        $partNum++
    }
    $reader.Close()
}

POST /api/models/runtime/merge-parts?fileName=python_env_cuda128.zip
Headers:
  X-Api-Key: [REDACTED_API_KEY]

// 1. .part{N} 정규식 추출 및 정수 기준 오름차순 정렬
// (단순 문자열 정렬 시 part1, part10, part2 순으로 꼬이는 버그 완벽 차단)
var partRegex = new System.Text.RegularExpressions.Regex(@"\.part(\d+)$");
var parts = Directory.GetFiles(searchDir, $"{Path.GetFileName(fileName)}.part*")
    .Select(f => (Path: f, Match: partRegex.Match(Path.GetFileName(f))))
    .Where(x => x.Match.Success)
    .Select(x => (x.Path, Num: int.Parse(x.Match.Groups[1].Value)))
    .OrderBy(x => x.Num)
    .Select(x => x.Path)
    .ToList();

if (parts.Count == 0)
    return NotFound(new { error = $"No parts found for '{fileName}'" });

// 2. 파트 번호가 1..N으로 완벽하게 연속인지 검증
var partNums = parts
    .Select(f => int.Parse(partRegex.Match(Path.GetFileName(f)).Groups[1].Value))
    .ToList();

for (int i = 0; i < partNums.Count; i++)
{
    if (partNums[i] != i + 1)
    {
        // 중간 파트 누락 시 병합 거부 (잘린 파일 배포 방지)
        return BadRequest(new { error = $"파트가 연속적이지 않습니다(.part{i + 1} 누락). 병합을 중단합니다." });
    }
}

string finalPath = finalPathCheck;
string tempPath = finalPath + ".merging";

try
{
    // [원자적 스트리밍 병합]
    using (var outStream = new FileStream(tempPath, FileMode.Create, FileAccess.Write, FileShare.None, 65536))
    {
        foreach (var part in parts)
        {
            _logger.LogInformation("Merging: {Part}", Path.GetFileName(part));
            using var inStream = new FileStream(part, FileMode.Open, FileAccess.Read, FileShare.Read, 65536);
            await inStream.CopyToAsync(outStream);
        }
    }

    // 기존 파일 교체 및 임시 파일 승격
    if (System.IO.File.Exists(finalPath)) System.IO.File.Delete(finalPath);
    System.IO.File.Move(tempPath, finalPath);

    long finalSize = new FileInfo(finalPath).Length;

    // [핵심] 병합본의 SHA256 해시를 스트리밍 재계산 (클라이언트 X-Sha256 검증 통과용)
    string sha256;
    using (var sha = SHA256.Create())
    using (var shaStream = new FileStream(finalPath, FileMode.Open, FileAccess.Read, FileShare.Read, 65536))
    {
        sha256 = Convert.ToHexString(await sha.ComputeHashAsync(shaStream)).ToLowerInvariant();
    }

    // 파트 임시 파일 청소
    foreach (var part in parts) System.IO.File.Delete(part);

    // DB 엔티티 원자적 Upsert 및 총 용량 갱신
    var existing = await _db.ModelFiles.FirstOrDefaultAsync(f => f.ModelId == id && f.FileName == fileName);
    if (existing != null)
    {
        existing.SizeBytes = finalSize;
        existing.Sha256 = sha256;
        existing.UploadedAt = DateTime.UtcNow;
    }
    else
    {
        _db.ModelFiles.Add(new ModelFile { ModelId = id, FileName = fileName, SizeBytes = finalSize, Sha256 = sha256, UploadedAt = DateTime.UtcNow });
    }
    await _db.SaveChangesAsync();
}
catch (Exception ex)
{
    try { System.IO.File.Delete(tempPath); } catch { }
    return StatusCode(500, new { error = ex.Message });
}

# 배포 즉시 0바이트 레인지 요청으로 HTTP 206 지원 여부 0.1초 검증
curl.exe -s -o NUL -w "%{http_code}" \
  "$serverBase/api/models/runtime/files/python_env_cuda128.zip" \
  -H "Range: bytes=0-0"

# 응답: HTTP 206 (Partial Content) 확인 완료!

[ 로컬 빌드: python_env_cuda128.zip (2.64 GB) ]
                        │
                        ▼
[ upload_python_env_to_azure.ps1 ]
 ├─ [long]$chunkSize = 1.5 GB 슬라이싱 (64비트 정밀 연산)
 ├─ Part 1 (1.50 GB) ──► HTTP POST /api/models/runtime/files (OK 200)
 └─ Part 2 (1.14 GB) ──► HTTP POST /api/models/runtime/files (OK 200)
                        │
                        ▼
[ HTTP POST: /api/models/runtime/merge-parts?fileName=python_env_cuda128.zip ]
                        │
                        ▼ (Azure App Service Backend)
[ ModelsController.MergeParts ]
 ├─ 1. Regex(@"\.part(\d+)$") ➔ 숫자 정수 정렬 (part1 ➔ part2)
 ├─ 2. Continuity Check (1..N 누락 검증)
 ├─ 3. Stream CopyToAsync ➔ python_env_cuda128.zip.merging
 ├─ 4. Atomic File.Move ➔ python_env_cuda128.zip
 ├─ 5. Streaming SHA-256 ComputeHashAsync ➔ DB Update
 └─ 6. Clean up temporary .part files
                        │
                        ▼
[ 전국 초·중·고 교실 PC (ZeliGen Client) ]
 └─ HTTP 206 Partial Content 무중단 이어받기 (다운로드 실패율 0%)