CTPN model

这篇文章解析以下CTPN的模型结构。
不多说，先上代码，用的是tensorflow1中的slim库。

def model(image):
    image = mean_image_subtraction(image)
    
    with slim.arg_scope(vgg.vgg_arg_scope()):
        conv5_3 = vgg.vgg_16(image)

    rpn_conv = slim.conv2d(conv5_3, 512, 3)

    lstm_output = Bilstm(rpn_conv, 512, 128, 512, scope_name='BiLSTM')

    bbox_pred = lstm_fc(lstm_output, 512, 10 * 4, scope_name="bbox_pred")
    cls_pred = lstm_fc(lstm_output, 512, 10 * 2, scope_name="cls_pred")

    cls_pred_shape = tf.shape(cls_pred)
    cls_pred_reshape = tf.reshape(cls_pred, [cls_pred_shape[0], cls_pred_shape[1], -1, 2])

    cls_pred_reshape_shape = tf.shape(cls_pred_reshape)
    cls_prob = tf.reshape(tf.nn.softmax(tf.reshape(cls_pred_reshape, [-1, cls_pred_reshape_shape[3]])),
                          [-1, cls_pred_reshape_shape[1], cls_pred_reshape_shape[2], cls_pred_reshape_shape[3]],
                          name="cls_prob")

    return bbox_pred, cls_pred, cls_prob

然后我们一句句来看。

image = mean_image_subtraction(image)

这一句，是因为一般使用VGG，用的是在Imgnet上预训练好的，需要减去Imgnet上图片的均值，做数据特征标准化。

with slim.arg_scope(vgg.vgg_arg_scope()):
        conv5_3 = vgg.vgg_16(image)

这一步得到VGG16提取的特征图，取的是conv5_3那一层。

rpn_conv = slim.conv2d(conv5_3, 512, 3)

这一句进行卷积核大小是3，步长为1的卷积进一步提取特征。

lstm_output = Bilstm(rpn_conv, 512, 128, 512, scope_name='BiLSTM')

这一步将上面得到的特征输入到一个双向的LSTM中。BiLSTM函数后面会进一步解析。

bbox_pred = lstm_fc(lstm_output, 512, 10 * 4, scope_name="bbox_pred")
cls_pred = lstm_fc(lstm_output, 512, 10 * 2, scope_name="cls_pred")

这两句是将LSTM层的得到的结果输入到全连接层得到最终输出。
其中bbox_pred得到的是检测框中心点坐标x,y的偏移以及宽和高的偏移。这里其实和原论文中描述的不一样，这份代码是根据Faster RCNN改过来的。原论文中，不需要预测x的偏移以及w的偏移，因为在CTPN设计的时候w固定死了为16个像素（因为vgg提取的特征图大小是原图1/16），x就是特征图上的点映射到原图上的区域的中心点的x坐标。所以原CTPN只需要预测y的偏移以及h的偏移就好了。当然像这里这么做也有好处，之后会提到，有side-refinement的作用。
cls_pred得到的是这个框中 文本/非文本的得分（置信度）。也就是是文本的可能性和不是文本的可能性。

cls_pred_shape = tf.shape(cls_pred)
cls_pred_reshape = tf.reshape(cls_pred, [cls_pred_shape[0], cls_pred_shape[1], -1, 2])

cls_pred_reshape_shape = tf.shape(cls_pred_reshape)
cls_prob = tf.reshape(tf.nn.softmax(tf.reshape(cls_pred_reshape, [-1, cls_pred_reshape_shape[3]])),
                          [-1, cls_pred_reshape_shape[1], cls_pred_reshape_shape[2], cls_pred_reshape_shape[3]],
                          name="cls_prob")

这些操作是为了计算 文本/非文本的概率。主要是为了使用softmax，所以需要先对cls_pred进行reshape，然后再reshape回去。最后cls_prob就是 文本/非文本的概率。
下面介绍解析Bilstm函数，具体可以看注解。

def Bilstm(net, input_channel, hidden_unit_num, output_channel, scope_name):
    # width--->time step
    with tf.variable_scope(scope_name) as scope:
        # reshape 输入
        shape = tf.shape(net)
        N, H, W, C = shape[0], shape[1], shape[2], shape[3]
        net = tf.reshape(net, [N * H, W, C])
        net.set_shape([None, None, input_channel])
        # 声明前向LSTM lstm_fw_cell 和后向LSTM lstm_bw_cell 
        lstm_fw_cell = tf.contrib.rnn.LSTMCell(hidden_unit_num, state_is_tuple=True)
        lstm_bw_cell = tf.contrib.rnn.LSTMCell(hidden_unit_num, state_is_tuple=True)
        # 建立双向LSTM
        lstm_out, last_state = tf.nn.bidirectional_dynamic_rnn(lstm_fw_cell, lstm_bw_cell, net, dtype=tf.float32)
       # concat LSTM的输出
        lstm_out = tf.concat(lstm_out, axis=-1)
        # reshape LSTM的输出，为了之后输入到全连接层
        lstm_out = tf.reshape(lstm_out, [N * H * W, 2 * hidden_unit_num])
        
        # 这里建立全连接层，初始化weight，biases
        init_weights = tf.contrib.layers.variance_scaling_initializer(factor=0.01, mode='FAN_AVG', uniform=False)
        init_biases = tf.constant_initializer(0.0)
        weights = make_var('weights', [2 * hidden_unit_num, output_channel], init_weights)
        biases = make_var('biases', [output_channel], init_biases)

        outputs = tf.matmul(lstm_out, weights) + biases
         # 全连接结束， 再reshape回去
        outputs = tf.reshape(outputs, [N, H, W, output_channel])
        return outputs

论文中其实还提到了side-refinement。这个东西是用来修正文本行的边界，这里没有实现，作者提供的caffe代码也没有实现（甚至没有训练代码）。但是这里我们预测框的时候对框的水平位置和宽度也进行了修正，所以这也起来了side-refinement的作用。

到这里model就解析完了，之后是reshape的细节，不感兴趣的可以不看。

先介绍一下tf.reshape()函数。 tf.reshape(输入，[reshape之后的维度])。
首先一般图像输入都是四维的 NHW*C，N代表几张图片也就是batch_size，W的图片的宽度，H的图片的高度，C是图片的通道数。各个模型这几维的排列顺序可能不同。
还有一个地方，四个维度中如果有一个填的是-1，那代表的意思就是这个维度是多少是自动计算的。还有就是因为tensorflow是静态图，所以你在运行的时候如果想得到shape只能调用tf.shape()。
之前我们得到的cls_pred是 文本/非文本的得分，我们需要的是 文本/非文本的概率，那么自然而然就想到用softmax。比如说 文本/非文本分数是 [3,1]，那么softmax之后应该是[0.5 , 0.5]，softmax在这里就不介绍了，具体的可以看这个。https://www.jianshu.com/p/4666213d20c7](https://www.jianshu.com/p/4666213d20c7
这里想用tf.nn.softmax，默认计算输入张量的最后一个维度。那我们就需要把我们之前得到的cls_pred reshape成最后一个维度是 文本/非文本 得分，也就是说最后一个维度大小是2。

cls_pred_reshape = tf.reshape(cls_pred, [cls_pred_shape[0], cls_pred_shape[1], -1, 2])
tf.reshape(cls_pred_reshape, [-1, cls_pred_reshape_shape[3]])

上面两句话完成了这一部分工作。

tf.nn.softmax(tf.reshape(cls_pred_reshape, [-1, cls_pred_reshape_shape[3]]))

上面的代码，对reshape之后的张量进行softmax操作

 tf.reshape(tf.nn.softmax(tf.reshape(cls_pred_reshape, [-1, cls_pred_reshape_shape[3]])),
                          [-1, cls_pred_reshape_shape[1], cls_pred_reshape_shape[2], cls_pred_reshape_shape[3]],
                          name="cls_prob")

最后再reshape回去。