Question

统计中的 Bootstrap 方法是指什么

Answer 1

一、Bootstrap
非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法，也称为自助法。其核心思想和基本步骤如下：[1]
（1）采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。
（2）根据抽出的样本计算给定的统计量T。
（3）重复上述N次（一般大于1000），得到N个统计量T。
（4）计算上述N个统计量T的样本方差，得到统计量的方差。
应该说Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好。通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。
具体抽样方法举例：想要知道池塘里面鱼的数量，可以先抽取N条鱼，做上记号，放回池塘。
进行重复抽样，抽取M次，每次抽取N条，考察每次抽到的鱼当中有记号的比例，综合M次的比例，在进行统计量的计算。

二、在统计学中，自助法（Bootstrap Method，Bootstrapping或自助抽样法）是一种从给定训练集中有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。自助法由Bradley Efron于1979年在《Annals of Statistics》上发表。当样本来自总体，能以正态分布来描述，其抽样分布(Sampling Distribution)为正态分布(The Normal Distribution)；但当样本来自的总体无法以正态分布来描述，则以渐进分析法、自助法等来分析。采用随机可置换抽样(random samplingwith replacement)。对于小数据集，自助法效果很好。

Answer 2

比如现在有一个分布F...
1. Bootstrap: 如果我无法知道F的确切分布,手上仅有一组从F中iid抽样的样本(X_1, ..., X_n),我想检验“F的均值是否为0”.看起来这个不可能,因为我只有一个\bar{X}的点估计,而并不知道\bar{X}的分布.Bootstrap的魔术是现在我把(X_1, ..., X_n)这个样本当做总体,从中(有放回地)重新抽样,重抽样样本大小仍为n,那么每一次重抽样就可以得到一个“样本均值”,不断地重抽样我就得到了一个\bar{X}的“分布”.这样接下来我就可以构造confidence interval并做检验了.
虽然实践中bootstrap的重抽样步骤都是用Monte Carlo方法来模拟重抽样样本统计量的分布,但是严格地说这个分布原则上可以精确计算.而如果待估统计量比较简单,bootstrap的结果有时甚至可以直接用(X_1, ..., X_n)的某种统计量表示出来,从而并不需要真正地“重抽样”.