图像张量化的几种方式对比

深度学习中,图像在送入模型之前一般要做张量话处理,下面分析几种张量化的特点.

一般图片打开后,需要根据情况做一些变换:

• 通道的顺序
  通过CV打开的图片,为BGR格式, 顺序为: h,w,c.
  PIL打开的图片,为RGB格式, 顺序也是: h,w,c.
  通过pytorch打开的,比较特殊,为c,h,w.

• 归一化处理
  归一化处理最简单的方式就是 /255.0 变成0-1之间浮点数.
  也可以根据需要做均值化处理,或者变成-1-1之间数值.

• 张量化处理
  根据模型对张量的要求,使用类似:arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])的numpy函数做变换.最后变换成: batch,chanel,weight,height.

我的测试代码:

from PIL import Image
import torchvision.transforms as T
import numpy as np
import cv2

# 
def load_data_tensor(path):
    trans = T.Compose([T.Resize(224), T.CenterCrop(224), T.ToTensor()])
    img = Image.open(path)
    img_tensor = trans(img).unsqueeze(0)
    return np.array(img_tensor)

def load_data_numpy(path):
    image = Image.open(path).convert('RGB')
    image = image.resize([224, 224])
    arr = np.array(image).astype(np.float32) / 255.0
    #arr = arr * 2.0 - 1.0
    arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])
    return  arr

def load_data_cv(path):
    image = cv2.imread(path)
    image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
    image = cv2.resize(image,(224, 224))
    arr = np.array(image).astype(np.float32) / 255.0
    #arr = arr * 2.0 - 1.0
    arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])
    return  arr



r0 = load_data_tensor('test_photo.jpg')
print(r0[0][0])
print('-'*50)
r1 = load_data_numpy('test_photo.jpg')
print(r1[0][0])
r2 = load_data_cv('test_photo.jpg')


image = cv2.imread('test_photo.jpg')
cv2.imshow('raw:',image)


rr0 = r0[0].transpose(1, 2, 0)
rr0 = cv2.cvtColor(rr0,cv2.COLOR_RGB2BGR)
cv2.imshow('tensor:',rr0)
rr1 = r1[0].transpose(1, 2, 0)
rr1 = cv2.cvtColor(rr1,cv2.COLOR_RGB2BGR)
cv2.imshow('numpy:',rr1)
rr2 = r2[0].transpose(1, 2, 0)
rr2 = cv2.cvtColor(rr2,cv2.COLOR_RGB2BGR)
cv2.imshow('cv:',rr2)

cv2.waitKey(0)

Screen Shot 2021-08-28 at 09.58.56.png

我测试了三种模式:

• load_data_tensor pytorch张量模式
• load_data_numpy PIL的numpy模式
• load_data_cv opencv的cv模式

调用后再复原顺序,可视化显示出来作比对:

• tensor模式使用了自动crop功能,图片没有变形
• numpy模式,逻辑清晰,比较好做进一步处理
• cv模式不知什么原因,图像比较其他的丢失了一些细节.