[技術討論] 搵軟件管理HDD/NAS嘅10TB文件

bongbong3481

留名學野。

eo38cl

Windows下，最好用係Whereisit，但已停止更新，最後一個版本係2014(build 220)，官網已買唔到。

然後係WinCatalog、Everything、abeMeda (前身CDWinder)等

ericauky

咁多ching，搭單問一問，有無prog 係可check hdd 內有無重複的file呢？

SuperElephant

回覆 5# ericauky
大型檔案比對需時, 以下答案會對比每個檔案的全部內容(hash), 而非檔案名稱

開cmd打"python --version"然後enter, 如無顯示version, 請安裝Python
新增檔案C:\dedup.py將以下代碼copy+paste落dedup.py然後save
再開cmd, 行: python "C:\dedup.py" "D:\target_directory"
"D:\target_directory" 改成你需要搵重複的路徑

代碼：

1. import os
   
2. import hashlib
   
3. import argparse
   
4. 
   
5. def calculate_sha256(file_path):
   
6.     with open(file_path, 'rb') as file:
   
7.         bytes = file.read()
   
8.         readable_hash = hashlib.sha256(bytes).hexdigest()
   
9.     return readable_hash
   
10. 
    
11. def find_duplicates(target_directory):
    
12.     file_hashes = {}
    
13.     for dirpath, dirnames, filenames in os.walk(target_directory):
    
14.         for filename in filenames:
    
15.             file_path = os.path.join(dirpath, filename)
    
16.             file_hash = calculate_sha256(file_path)
    
17.             if file_hash in file_hashes:
    
18.                 file_hashes[file_hash].append(file_path)
    
19.             else:
    
20.                 file_hashes[file_hash] = [file_path]
    
21. 
    
22.     duplicates = {k: v for k, v in file_hashes.items() if len(v) > 1}
    
23.     return duplicates
    
24. 
    
25. # Parse command-line arguments
    
26. parser = argparse.ArgumentParser(description='Find duplicate files in a directory.')
    
27. parser.add_argument('directory', type=str, help='The target directory.')
    
28. args = parser.parse_args()
    
29. 
    
30. target_directory = args.directory
    
31. duplicates = find_duplicates(target_directory)
    
32. 
    
33. for hash, file_paths in duplicates.items():
    
34.     print(f"Duplicate files for hash {hash}:")
    
35.     for file_path in file_paths:
    
36.         print(f"\t{file_path}")
    
37. 
    
38. print(f"Scan completed. Found {len(duplicates)} duplicate hashes.")

複製代碼

hoho1986

WizTree
可以Export CSV，外置HDD都可以用

Jip仔

咁多ching，搭單問一問，有無prog 係可check hdd 內有無重複的file呢？
ericauky 發表於 2023-11-4 22:51

Duplicate Cleaner Free
https://www.duplicatecleaner.com/