概率论八大分布表格


作为机器学习从业者,深入理解概率分布是必备的知识。在这里,我们将共同探索最常见的基本概率分布教程,这些大多与在Python库中进行深度学习有关。

概率分布概述

我们要了解概率分布的一些基本概念。共轭分布是贝叶斯概率论中的一个重要概念。如果后验分布p(θx)与先验概率分布p(θ)处于同一概率分布族中,那么它们被称为共轭分布。先验分布被称为似然函数的共轭先验。有关共轭先验的更多信息,可以查阅相关百科。

接下来,为了更好地理解概率分布,推荐阅读Pattern Recognition and Machine Learning(Bishop 2006)。

概率分布与特征

接下来,我们将介绍一些常见的概率分布及其特点:

1.均匀分布(连续)

均匀分布在指定区间[a,b]内具有相同的概率值。这是一种简单的连续概率分布。

2.伯努利分布(离散)

伯努利分布是二项分类的概率分布。如果对最大似然进行优化而不考虑先验概率p(x),则容易陷入过度拟合。利用二元交叉熵可以有效地进行二项分类,其形式与伯努利分布的负对数相同。

3.二项分布(离散)

二项分布描述了在n次独立实验中成功次数的概率分布,其中参数为n和p。考虑先验概率的分布时,我们称之为二项式分布。

4.多伯努利分布与分类分布(离散)

多伯努利分布也称为分类分布。交叉熵和多伯努利分布采取负对数具有相同的形式。

5.多项式分布(离散)

多项式分布与分类分布的关系类似于伯努利分布与二项分布之间的关系。对于多项式分布的深入了解,相关资源同样值得关注。

6.β分布(连续)

β分布与二项分布和伯努利分布共轭。利用共轭性质,我们可以更容易地从已知的先验分布得到后验分布。当β分布满足特定条件时(α=1,β=1),它变为均匀分布。

7.Dirichlet 分布(连续)

Dirichlet 分布与多项式分布共轮。当k=2时,它变为β分布。有关Dirichlet分布的更多信息,建议查阅相关文献或资源。

8.伽马分布(连续)

伽马分布是连续概率分布的一种。在某些特定条件下,指数分布和卡方分布可以视为伽马分布的特例。

9.指数分布(连续)

指数分布是α为1时的伽马分布的特例。有关指数分布的更多信息和应用场景,建议进一步探索。

10.高斯分布与正态分布(连续)

高斯分布和正态分布是常见的连续概率分布。其中,正态分布是一种特殊的情形,其平均值通常为0,标准差为1。关于高斯和正态分布的深入应用,建议查阅相关教材或资源。

11.卡方分布(连续)