对于常见的激活函数:Sigmoid和ReLU,用Numpy可以快速实现:
import numpy as np
import matplotlib.pyplot as plt
plt.figure(figsize=(8, 3))
x = np.arange(-10, 10, 0.1)
s = 1.0 / (1 + np.exp(-x))
y = np.clip(x, 0.,None)
f=plt.subplot(121)
plt.plot(x, s, color='r')
f=plt.subplot(122)
plt.plot(x, y, color='g')
plt.show()
Sigmoid vs ReLU










网友评论