机器学习中的数学——点估计（一）：基础知识

90 阅读 0 评论 60 点赞

我是靠谱客的博主平淡电脑，最近开发中收集的这篇文章主要介绍机器学习中的数学——点估计（一）：基础知识，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

分类目录：《机器学习中的数学》总目录
相关文章：
· 点估计（一）：基础知识
· 点估计（二）：矩估计
· 点估计（三）：极大似然估计/最大似然估计（Maximum Likelihood Estimate，MLE）
· 点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）

设总体 $X$ 的分布形式已知，但它的一个或多个参数未知，借助于总体 $X$ 的一个样本来估计总体未知参数值的问题称为参数的点估计。设总体 $X \sim f (x; θ)$ ，其中 $f$ 的形式已知， $θ$ 是未知参数．例如，总体 $X \sim B (1, p)$ ，其中 $p$ 未知，这个 $p$ 即为标记总体分布的未知参数，简称总体参数。总体参数虽然是未知的，但是它可能取值的范围却是已知的．称总体参数的取值范围为参数空间，记作 $Θ$ ．例如，已知总体 $sigma^2)$ ，其中 $μ$ 和 $sigma^2$ 都未知，参数空间 $sigma^2):-infty<mu<infty, sigma^2>0}$ 。

设 $(x_1, x_2, cdots, x_n)$ 是取自总体 $X$ 的一个样本，若用一个统计量 $hat{theta}=hat{theta}(x_1, x_2, cdots, x_n)$ 来估计 $θ$ ，则称 $θ ^ hat{theta}$ 为参数 $θ$ 的一个点估计量。 $θ ^ hat{theta}$ 为参数 $θ$ 的一个估计量，则有 $g ( θ ^ ) g(hat{theta})$ 为参数 $g (θ)$ 的一个估计量．在这里，构造统计量 $θ ^ hat{theta}$ 常用的方法有矩估计法、极大似然估计和最大后验估计等。