컴퓨터실 40대 PC의 스토리지 고갈과 중복 파일 0초 정리: ZeliMatch의 3단계 계층형 해시(4KB Partial & Full MD5) 스캐닝 아키텍처

// ═══════════════════════════════════════════════════════
//  ZeliMatch 3단계 계층형 중복 파일 탐색 파이프라인
// ═══════════════════════════════════════════════════════
public async Task<List<MatchGroup>> ScanAsync(string rootPath, CancellationToken token)
{
    return await Task.Run(() =>
    {
        var filesBySize = new ConcurrentDictionary<long, List<string>>();

        // [1단계] 재귀 디렉토리 순회 & 바이트 크기(Size) 1차 그룹핑
        // 크기가 고유한 파일은 중복일 가능성이 0%이므로 즉시 탈락 (95% 이상 필터링)
        ScanDirectory(rootPath);

        var sizeCandidates = filesBySize.Values.Where(list => list.Count > 1).ToList();
        var finalGroups = new List<MatchGroup>();

        // [2단계] 크기가 동일한 후보군 대상 앞부분 4KB 부분 해시 검증
        foreach (var group in sizeCandidates)
        {
            token.ThrowIfCancellationRequested();
            var partialGroups = new Dictionary<string, List<string>>();

            foreach (var file in group)
            {
                string partialHash = ComputeHash(file, 4096); // 4,096바이트만 초고속 읽기
                if (partialHash == null) continue;

                if (!partialGroups.ContainsKey(partialHash))
                    partialGroups[partialHash] = new List<string>();
                partialGroups[partialHash].Add(file);
            }

            // [3단계] 4KB 부분 해시까지 일치한 0.1% 의심군만 스트림 전체(Full) 해시 검증
            foreach (var partialGroup in partialGroups.Values.Where(l => l.Count > 1))
            {
                token.ThrowIfCancellationRequested();
                var fullGroups = new Dictionary<string, List<string>>();

                foreach (var file in partialGroup)
                {
                    string fullHash = ComputeHash(file, -1); // 전체 스트림 MD5 검증
                    if (fullHash == null) continue;

                    if (!fullGroups.ContainsKey(fullHash))
                        fullGroups[fullHash] = new List<string>();
                    fullGroups[fullHash].Add(file);
                }

                // 비트 단위 100% 동일한 최종 중복 그룹(MatchGroup) 구축
                foreach (var kvp in fullGroups.Where(kv => kv.Value.Count > 1))
                {
                    var matchGroup = new MatchGroup { Hash = kvp.Key };
                    long size = new FileInfo(kvp.Value[0]).Length;

                    for (int i = 0; i < kvp.Value.Count; i++)
                    {
                        matchGroup.Items.Add(new MatchItem
                        {
                            FilePath = kvp.Value[i],
                            SizeBytes = size,
                            // 스마트 선택: 0번째 원본 유지, 1번째부터 자동 삭제 체크!
                            IsMarkedForDeletion = i > 0
                        });
                    }
                    finalGroups.Add(matchGroup);
                }
            }
        }

        // 낭비 공간이 가장 큰 그룹부터 내림차순 정렬
        return finalGroups.OrderByDescending(g => g.WastedSpaceBytes).ToList();
    }, token);
}

// 11대 개발 환경 및 시스템 폴더 중복 검사 자동 제외
string lowerName = di.Name.ToLowerInvariant();
if (lowerName == "node_modules" || lowerName == ".git"    || 
    lowerName == ".svn"         || lowerName == ".venv"   || 
    lowerName == "venv"         || lowerName == "env"     || 
    lowerName == "__pycache__"  || lowerName == ".idea"   || 
    lowerName == ".vscode"      || lowerName == "bin"     || 
    lowerName == "obj")
{
    continue; // 하위 트리 스캔 완전 생략
}

// ── 50ms 디바운스 UI 프로그레스 리포팅 ──
private void ReportProgress(string msg)
{
    long now = DateTime.UtcNow.Ticks;
    if (now - _lastReportTicks > TimeSpan.TicksPerMillisecond * 50)
    {
        _lastReportTicks = now;
        ProgressChanged?.Invoke(msg);
    }
}

// ── 낭비 공간 계산 모델 (원본 1개를 뺀 나머지 중복 파일 용량) ──
public long WastedSpaceBytes => Count > 1 ? Items[0].SizeBytes * (Count - 1) : 0;

// ── 안전한 영구 삭제 파이프라인 ──
foreach (var item in itemsToDelete)
{
    try
    {
        var fi = new System.IO.FileInfo(item.FilePath);
        if (fi.Exists && fi.IsReadOnly)
        {
            fi.IsReadOnly = false; // 강제 삭제를 위해 읽기 전용 속성 자동 해제
        }
        System.IO.File.Delete(item.FilePath);
        freedSpace += item.SizeBytes;
        deleteCount++;
    }
    catch (Exception ex)
    {
        failCount++;
        lastFailMessage = ex.Message;
    }
}