参考资料：《CS231n 计算机视觉深度学习》 — CS231n Deep Learning for Computer Vision
什么是神经网络？
简单来说，神经网络（Neural Network） 是一种模仿人脑结构和功能来处理信息、解决问题的计算模型。它是当前人工智能领域，特别是机器学习和深度学习中的核心技术。
神经网络能做什么？
神经网络有强大的模式识别能力，所以在许多领域都有应用，包括但不限于：
- 计算机视觉 (CV)： 人脸识别、自动驾驶车辆识别路标和行人。
- 自然语言处理 (NLP)： 机器翻译（如谷歌翻译）、聊天机器人、情感分析。
- 语音识别： Siri、小爱同学等智能助手的语音识别功能。
- 推荐系统： 淘宝、抖音根据你的喜好推荐商品或视频。
神经网络的构成
神经元 (The Neuron)
一个生物神经元通过树突（Dendrites） 接收来自其他神经元的化学信号。如果这些信号累积起来足够强，超过了某个阈值（Threshold），神经元就会被“激活”（兴奋），并通过其轴突（Axon） 向下游的其他神经元发送一个电信号。
生物神经元
神经网络中的神经元借鉴了生物神经元的核心思想。
神经网络中的神经元
一个神经网络中的神经元主要由以下三个部分组成：
- 输入与权重 (Inputs and Weights)
- 求和与偏置 (Summation and Bias)
- 激活函数 (Activation Function)
一个神经元是如何处理信息的
第1步：接收带权重的输入
一个神经元会接收一个或多个来自上一层的输入值。这些输入值可以是原始数据（比如图片的像素值），也可以是上一层神经元的输出。每一个输入连接都不是平等的，而是有自己的权重（Weight）。输入 (Inputs, 表示为 $x$): $x_1, x_2, x_3, \dots, x_n$ 权重 (Weights, 表示为 $w$): $w_1, w_2, w_3, \dots, w_n$。权重 $w$ 至关重要，它代表对应输入 $x$ 的重要性。 一个大的正权重意味着这个输入对神经元的激活有很强的促进作用。 一个大的负权重意味着这个输入有很强的抑制作用。 一个接近于0的权重意味着这个输入几乎不起作用。神经网络的学习过程，本质上就是在不断地调整这些权重值。
第2步：加权求和，并加上偏置
神经元会把所有接收到的输入值与它们对应的权重相乘，然后把这些乘积全部加起来。这个过程被称为加权求和。 它会计算一个中间值 $z$，这个 $z$ 值可以看作是神经元接收到的所有信号的“总刺激强度”。 还有一个重要的部分叫做偏置（Bias, 表示为 $b$）。偏置是一个独立的、可学习的数值，它被加到加权和的结果上。 完整的计算公式如下： $$ z = (w_1x_1 + w_2x_2 + \dots + w_nx_n) + b $$ 如果使用向量表示，其中 $\mathbf{w}$ 是权重向量，$\mathbf{x}$ 是输入向量： $$ z = \mathbf{w} \cdot \mathbf{x} + b $$ 可以把偏置理解为神经元固有的激活倾向。它控制着神经元被激活的“难易程度”。 如果偏置 $b$ 是一个很大的正数，那么即使输入的信号不强，神经元也更容易被激活。 如果偏置 $b$ 是一个很大的负数，那么神经元就需要非常强的输入信号才能被激活。权重 $\mathbf{w}$ 决定了输入信号的“形状”，而偏置 $b$ 决定了激活函数的“位置”，两者共同作用，使得神经元的决策边界更加灵活。