如何解释`scipy.stats.kstest`和`ks_2samp`来评估数据适合分布？

Question

我想评估/测试我的数据如何适合特定的分布。

有几个关于它的问题，我被告知要使用scipy.stats.kstest或scipy.stats.ks_2samp。看起来很简单，给它：（A）数据; （2）分配;和（3）拟合参数。唯一的问题是我的结果没有任何意义？我想测试我的数据的“优点”，它适合于不同的分布，但从kstest的输出中，我不知道我能否做到这一点？

Goodness of fit tests in SciPy

“[SciPy的]包含KS”

Using Scipy's stats.kstest module for goodness-of-fit testing说

“第一个值是在测试统计数据，以及第二值是所述的p值。如果p值小于95（对于5％的显着性水平），这意味着您不能拒绝两个样本分布相同的零假设。“

这只是展示了如何适应： Fitting distributions, goodness of fit, p-value. Is it possible to do this with Scipy (Python)?

np.random.seed(2) 
# Sample from a normal distribution w/ mu: -50 and sigma=1 
x = np.random.normal(loc=-50, scale=1, size=100) 
x 
#array([-50.41675785, -50.05626683, -52.1361961 , -48.35972919, 
#  -51.79343559, -50.84174737, -49.49711858, -51.24528809, 
#  -51.05795222, -50.90900761, -49.44854596, -47.70779199, 

# ... 
#  -50.46200535, -49.64911151, -49.61813377, -49.43372456, 
#  -49.79579202, -48.59330376, -51.7379595 , -48.95917605, 
#  -49.61952803, -50.21713527, -48.8264685 , -52.34360319]) 

# Try against a Gamma Distribution 
distribution = "gamma" 
distr = getattr(stats, distribution) 
params = distr.fit(x) 

stats.kstest(x,distribution,args=params) 
KstestResult(statistic=0.078494356486987549, pvalue=0.55408436218441004) 

的pvalue=0.55408436218441004一个P_VALUE是说，normal和gamma取样来自同一distirbutions？

我认为伽玛分布必须包含正值？ https://en.wikipedia.org/wiki/Gamma_distribution

现在对正态分布：

# Try against a Normal Distribution 
distribution = "norm" 
distr = getattr(stats, distribution) 
params = distr.fit(x) 

stats.kstest(x,distribution,args=params) 
KstestResult(statistic=0.070447707170256002, pvalue=0.70801104133244541) 

根据这一点，如果我把最低P_VALUE，然后我将结束我的数据从gamma分布，即使他们都是负值来的？

np.random.seed(0) 

distr = getattr(stats, "norm") 
x = distr.rvs(loc=0, scale=1, size=50) 
params = distr.fit(x) 
stats.kstest(x,"norm",args=params, N=1000) 

KstestResult(statistic=0.058435890774587329, pvalue=0.99558592119926814) 

这意味着在显着性水平为5％，我可以拒绝零假设，即分布是相同的。所以我得出结论他们是不同的，但他们显然不是？我解释错了吗？如果我把它做成单尾的，那么它是否会变得更大，价值越大，它们来自同一分布的可能性越大？

Answer 1

所以KT测试的无效假设是分布是相同的。因此，p值越低，您必须拒绝零假设的统计证据越大，并且的结论是分布不同。该测试只能真正让你说出你对分布不同的信心，而不是相同的，因为测试旨在发现类型I错误的概率为alpha。

此外，我很确定KT测试只有在您事先已经完全指定了分配的情况下才有效。在这里，你简单地用拟合在某些数据上的伽马分布，所以当然，测试产生高p值（即不能拒绝分布相同的零假设）并不奇怪。

真正很快，这里是伽玛适合你（蓝色）对你从抽样正态分布的PDF（绿色）的PDF：

In [13]: paramsd = dict(zip(('shape','loc','scale'),params)) 

In [14]: a = paramsd['shape'] 

In [15]: del paramsd['shape'] 

In [16]: paramsd 
Out[16]: {'loc': -71.588039241913037, 'scale': 0.051114096301755507} 

In [17]: X = np.linspace(-55, -45, 100) 

In [18]: plt.plot(X, stats.gamma.pdf(X,a,**paramsd)) 
Out[18]: [<matplotlib.lines.Line2D at 0x7ff820f21d68>] 

这应该是显而易见这些并没有很大的不同。真的，这个测试比较了经验性CDF（ECDF）和候选人分布的CDF（再次，您是从将数据拟合到该分布中得出的），并且测试统计量是最大差异。借用ECDF from here的实现，我们可以看到，任何这样的最大差异会小，测试显然不会拒绝零假设：

In [32]: def ecdf(x): 
    .....:   xs = np.sort(x) 
    .....:   ys = np.arange(1, len(xs)+1)/float(len(xs)) 
    .....:   return xs, ys 
    .....: 

In [33]: plt.plot(X, stats.gamma.cdf(X,a,**paramsd)) 
Out[33]: [<matplotlib.lines.Line2D at 0x7ff805223a20>] 

In [34]: plt.plot(*ecdf(x)) 
Out[34]: [<matplotlib.lines.Line2D at 0x7ff80524c208>]