深度学习中的 logits 、softmax，TensorFlow中的 tf.nn.softmax_cross_entropy_with_logits 、tf.nn.sparse_soft...对比
一、logits 和 softmax 1、什么是logits？ 说到Logits，首先要弄明白什么是Odds？ 在英文里，Odds的本意是指几率、可能性。它和我们常说的概率又有什么区别呢？ 在统计学里，概率（Probability）描述的是某事件A出现的次数与所有事件出现的次数之比: p ( A ) = A 发 生 的 次 数 所 有 事 件 发 生 的 总 次 数 （ 公 式 1 ） p_{(A)}=\frac{A发生的次数}{所有事件发生的总次数} ~~~~~~~~~~~~~~~~（公式1） p ( A ) = 所 有 事 件 发 生 的 总 次 数 A 发 生 的 次 数 （ 公 式 1 ） 很显然，概率 P是一个介于0到1之间的实数； P=0,表示事件A一定不会发生，而P=1,则表示事件A一定会发生。 以掷骰子为例，由于骰子为6面，任意一面上点数概率都是相同。所以，事件A：掷出点数为1的概率为： p = 1 6 p=\frac{1}{6} p = 6 1 对比而言，Odds指的是事件发生的概率与事件不发生的概率之比： O d d s ( A ) = p ( A 发 生 ) p ( A 不 发 生 ) （ 公 式 2 ） Odds_{(A)}=\frac{p_{(A发生)}}{p_{(A不发生)}}~~~~~~~~~~~~~~~~~~~~~~~（公式2） O d