800GB AI 모델 허브의 부팅과 무중단 영속성 수호: ZeliDesk.Server Program.cs의 Kestrel 10GB 버퍼, 이원화 Rate Limiting 및 재시작 좀비 락 자동 치유 아키텍처

// Azure App Service: D:\home\data\ (wwwroot 외부 영구 스토리지 -> 배포해도 안 지워짐)
// 로컬 개발 환경: ./data/ (ContentRoot 상대 경로)
string persistentBase = Directory.Exists(@"D:\home")
    ? @"D:\home\data\ZeliDeskModelHub"
    : Path.Combine(builder.Environment.ContentRootPath, "data");
Directory.CreateDirectory(persistentBase);

// Controller 및 Background Service가 참조하는 StoragePath를 영구 경로로 덮어쓰기
builder.Configuration["ModelServer:StoragePath"] = Path.Combine(persistentBase, "models");

builder.WebHost.ConfigureKestrel(options =>
{
    // 대용량 분할 가중치 및 CPython 런타임 업로드를 위한 10GB 버퍼 확장
    options.Limits.MaxRequestBodySize = 10L * 1024 * 1024 * 1024; // 10 GB (64비트 long 정밀 캐스팅)
});

builder.Services.AddRateLimiter(options =>
{
    // 관리성 API: 10 req/min
    options.AddFixedWindowLimiter("general", opt =>
    {
        opt.PermitLimit = permitLimit;
        opt.Window = TimeSpan.FromSeconds(windowSec);
        opt.QueueProcessingOrder = QueueProcessingOrder.OldestFirst;
        opt.QueueLimit = 2;
    });

    // 외부 미러링 API: 2 req/hour (비용 및 대역폭 보호)
    options.AddFixedWindowLimiter("mirror", opt =>
    {
        opt.PermitLimit = mirrorLimit;
        opt.Window = TimeSpan.FromSeconds(mirrorWindowSec);
        opt.QueueProcessingOrder = QueueProcessingOrder.OldestFirst;
        opt.QueueLimit = 0;
    });

    options.RejectionStatusCode = StatusCodes.Status429TooManyRequests;
});

// 잔류 'downloading' 상태 복구 — 미러링은 in-process 작업이라 재시작 직후에는
// 진행 중일 수 없다. 남아 있으면 StartMirror가 그 모델에 영원히 409를 반환한다.
int stuck = await db.Database.ExecuteSqlRawAsync(
    "UPDATE Models SET MirrorStatus = 'none' WHERE MirrorStatus = 'downloading'");
if (stuck > 0)
    app.Logger.LogWarning("재시작 복구: 중단된 미러링 {Count}건의 상태를 초기화했습니다.", stuck);

// 1. AI 가중치 전용 MIME 타입 프로바이더 등록
var mimeProvider = new FileExtensionContentTypeProvider();
mimeProvider.Mappings[".gguf"] = "application/octet-stream";
mimeProvider.Mappings[".onnx"] = "application/octet-stream";
mimeProvider.Mappings[".safetensors"] = "application/octet-stream";
mimeProvider.Mappings[".bin"] = "application/octet-stream";

app.UseStaticFiles(new StaticFileOptions { ContentTypeProvider = mimeProvider });

// 2. HTTP 206 Range 및 무결성 SHA-256 CORS 헤더 노출
builder.Services.AddCors(options =>
{
    options.AddDefaultPolicy(policy =>
    {
        policy.WithOrigins(allowedOrigins)
              .AllowAnyHeader()
              .AllowAnyMethod()
              .WithExposedHeaders("X-Sha256", "Content-Range", "Accept-Ranges");
    });
});

using System.Threading.RateLimiting;
using Microsoft.AspNetCore.RateLimiting;
using Microsoft.AspNetCore.StaticFiles;
using Microsoft.EntityFrameworkCore;
using ZeliDesk.Server.Data;
using ZeliDesk.Server.Middleware;
using ZeliDesk.Server.Services;

var builder = WebApplication.CreateBuilder(args);

// ── 1. Azure App Service 영구 저장소 라우팅 ──
string persistentBase = Directory.Exists(@"D:\home")
    ? @"D:\home\data\ZeliDeskModelHub"
    : Path.Combine(builder.Environment.ContentRootPath, "data");
Directory.CreateDirectory(persistentBase);

// ── 2. 서비스 등록 및 Kestrel 10GB 버퍼 해제 ──
builder.Services.AddControllers();
builder.Services.AddEndpointsApiExplorer();
builder.Services.AddSwaggerGen();

string dbPath = Path.Combine(persistentBase, "modelserver.db");
builder.Services.AddDbContext<ModelDbContext>(options =>
    options.UseSqlite($"Data Source={dbPath}"));

builder.WebHost.ConfigureKestrel(options =>
{
    options.Limits.MaxRequestBodySize = 10L * 1024 * 1024 * 1024; // 10 GB
});

// ── 3. Range 및 무결성 헤더 노출 CORS 정책 ──
var allowedOrigins = builder.Configuration.GetSection("Security:AllowedOrigins").Get<string[]>()
    ?? new[] { "http://localhost:5000", "http://localhost:5100" };

builder.Services.AddCors(options =>
{
    options.AddDefaultPolicy(policy =>
    {
        policy.WithOrigins(allowedOrigins)
              .AllowAnyHeader()
              .AllowAnyMethod()
              .WithExposedHeaders("X-Sha256", "Content-Range", "Accept-Ranges");
    });
});

// ── 4. 이원화 Rate Limiting 거버넌스 ──
builder.Services.AddRateLimiter(options =>
{
    options.AddFixedWindowLimiter("general", opt =>
    {
        opt.PermitLimit = builder.Configuration.GetValue("Security:RateLimiting:PermitLimit", 10);
        opt.Window = TimeSpan.FromSeconds(builder.Configuration.GetValue("Security:RateLimiting:WindowSeconds", 60));
        opt.QueueProcessingOrder = QueueProcessingOrder.OldestFirst;
        opt.QueueLimit = 2;
    });

    options.AddFixedWindowLimiter("mirror", opt =>
    {
        opt.PermitLimit = builder.Configuration.GetValue("Security:RateLimiting:MirrorPermitLimit", 2);
        opt.Window = TimeSpan.FromSeconds(builder.Configuration.GetValue("Security:RateLimiting:MirrorWindowSeconds", 3600));
        opt.QueueProcessingOrder = QueueProcessingOrder.OldestFirst;
        opt.QueueLimit = 0;
    });

    options.RejectionStatusCode = StatusCodes.Status429TooManyRequests;
});

builder.Services.AddSingleton<MirrorService>();
builder.Configuration["ModelServer:StoragePath"] = Path.Combine(persistentBase, "models");

var app = builder.Build();

// ── 5. DB 마이그레이션 및 좀비 락 자동 치유 ──
using (var scope = app.Services.CreateScope())
{
    var db = scope.ServiceProvider.GetRequiredService<ModelDbContext>();
    await db.Database.EnsureCreatedAsync();

    // 부팅 시 잔류한 downloading 좀비 상태 원자적 초기화
    int stuck = await db.Database.ExecuteSqlRawAsync(
        "UPDATE Models SET MirrorStatus = 'none' WHERE MirrorStatus = 'downloading'");
    if (stuck > 0)
        app.Logger.LogWarning("재시작 복구: 중단된 미러링 {Count}건의 상태를 초기화했습니다.", stuck);

    string seedStoragePath = Path.Combine(persistentBase, "models");
    await ModelSeedService.SeedKnownModelsAsync(db, seedStoragePath);
}

// ── 6. 미들웨어 파이프라인 및 MIME 프로바이더 ──
app.UseCors();
app.UseRateLimiter();
app.UseMiddleware<ApiKeyAuthMiddleware>();

var mimeProvider = new FileExtensionContentTypeProvider();
mimeProvider.Mappings[".gguf"] = "application/octet-stream";
mimeProvider.Mappings[".onnx"] = "application/octet-stream";
mimeProvider.Mappings[".safetensors"] = "application/octet-stream";
mimeProvider.Mappings[".bin"] = "application/octet-stream";

app.UseDefaultFiles();
app.UseStaticFiles(new StaticFileOptions { ContentTypeProvider = mimeProvider });
app.MapControllers();

app.Run();