2018-06-13自动分组

当你的文件非常的多，想要分组处理的话，就需要一个自动分组处理脚本

python auto_group.py [src_dir] [dest_dir] [number_of_cpu]

第一个参数是源目录地址，第二个参数是目标目录地址，第三个参数是cpu的个数。
以下是auto_group.py的源码。

import os
import os.path
import sys




def copy_files(src_dir, dest_dir, cpu):
    count = 0
    cnt = 0
    number = len(os.listdir(src_dir))
    temp = 0
    if number%cpu > 0:
        temp = 1
    folder_capacity = int(number / cpu) + temp
    print(folder_capacity)
    for item in os.listdir(src_dir):
        abs_item = os.path.join(src_dir, item)
        if os.path.isfile(abs_item):
            count += 1
            if count%folder_capacity == 1:
                cnt += 1
                current_folder = os.path.join(dest_dir, str(cnt))
                os.mkdir(current_folder)
                print(current_folder)
            open(os.path.join(current_folder, item), 'wb').write(open(abs_item, 'rb').read())
src_dir = sys.argv[1]
dest_dir = sys.argv[2]
cpu = int(sys.argv[3])

copy_files(src_dir, dest_dir, cpu)