技术文章 |“小数据”的统计学
本文来源于阿里云-云栖社区，原文点击这里。
一、小数据来自哪里？
科技公司的数据科学、关联性分析以及机器学习等方面的活动大多围绕着"大数据"，这些大型数据集包含文档、 用户、 文件、 查询、 歌曲、 图片等信息，规模数以千计，数十万、 数百万、 甚至数十亿。过去十年里，处理这类型数据集的基础设施、 工具和算法发展得非常迅速，并且得到了不断改善。大多数数据科学家和机器学习从业人员就是在这样的情况下积累了经验，逐渐习惯于那些用着顺手的算法，而且在那些常见的需要权衡的问题上面拥有良好的直觉（经常需要权衡的问题包括：偏差和方差，灵活性和稳定性，手工特性提取和特征学习等等)。但小的数据集仍然时不时的出现，而且伴随的问题往往难以处理，需要一组不同的算法和不同的技能。小数据集出现在以下几种情况:
- 企业解决方案: 当您尝试为一个人员数量相对有限的企业提供解决方案，而不是为成千上万的用户提供单一的解决方案。
- 时间序列: 时间供不应求!尤其是和用户、查询指令、会话、文件等相比较。这显然取决于时间单位或采样率，但是想每次都能有效地增加采样率没那么容易，比如你得到的标定数据是日期的话，那么你每天只有一个数据点。
- 关于以下样本的聚类模型：州市、国家、运动队或任何总体本身是有限的情况(或者采样真的很贵)。
- 【备注：比如对美国50个州做聚类】
- 多变量 A/B 测试: 实验方法或者它们的组合会成为数据点。如果你正在考虑3个维度，每个维度设置4个配置项，那么将拥有12个点。
- 【备注：比如在网页测试中，选择字体颜色、字体大小、字体类型三个维度，然后有四种颜色、四个字号、四个字型】
- 任何罕见现象的模型，例如地震、洪水。