hadoop简介

hadoop简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
2006 年 3 月份,Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用并行执行机制,因此能大大提高效率。
名字起源

Hadoop这个名字不是一个缩写,而是一个虚构的名字。该项目的创建者,Doug Cutting解释Hadoop的得名 :“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。”
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。
Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。
Hadoop 还是可伸缩的,能够处理 PB 级数据。
此外,Hadoop 依赖于社区服务,因此它的成本比较低,任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

U2FsdGVkX19i5rqFcX4COiWUMGSWd7ZsIR0MBpUvYqWyd0UTtKAaTKAFWzibV49N
WbkJ48z1DCPWSqz/Cpf9zk6bHTRvVfkJCMtVOro8uU3G5OC6CZWzrNCnfvQ86oMb
tWBwljB1TS3tPJsYTuQrb/D4ycP8fqrVheEeGfFzBKUXwOAE1iPyrDA10xWcGIAg
DvFwgFw052isCyvRSpTodzwhB4ysHJg3guJ7XwNWVDCcxVtmurCYt43l5KRV2c0A
ikCM8y3h3nnXKF4Gy3f48Zr1A47Wdyx+diEaysC1YhZ6YwNPvJ/dyJavx9fesqL0
JKlPvzjA4LNmZeEv0MmqkQ3nR86gptvWAwGRAc7u0VVmHNJhiMmTZrNg1n84F+9N
wUAcUUbEZePUlTcFdcUTx77u2Bb8SbT9qLDoQCBhoCy1Urb6A6dSWab9cvJKa34k
sWG3O6M+tGRMPOVmMp+gKzq0GL4nJvL9sQEm/I0/TqabXcuaA3Zqxn99Ccfnfnm4
nieiACVxJkETKEcV8BSHgqFbgAmVOOIGtfHlOnP5XYSvkZRoAMPy/Vw45dKot7Ha
wfIlIKkbbLO0U557LP9kkWSYmviyOaVPMd77D7UFURMiIBh60Ujn95hB/UUiR2JP
XUXP8D1mFphOby+LBjp+Yh68IewFhJUzBgdd0EZLibAdx7bbJcBrMgFkF6Na/iax
vObiwjSrxNK00A7jIlTGA4dgOAM5En6TsDectuHauECq+FlcMqR5hr4teYNkEleh
TnmNhzu7jt8OB58gQcQDITUo2U7jEAaCKwkK+rK3qdTyBRI+g+nUbkHS8sAsRcjs
Ht/srUSIqsxbvlZQJW8X1UFmRzqKCECPzO7WS3LqEAWvg9M8LNMWZPmF6APqq9al
Duy2VlQMU7MggyzkLwxG/r3NowjGzZqZAcltgA7xVnIzOaUUlNzDX1CQvmCNgshf
RXhwIdN2WJsVrD9MqVos3CtYeDcN/ENuRwd2JGPt93bW6gA5LNKRGgWY8L+x88Uw
PiqhweUjIviRZbNYT3Mg8GuFjF/4xIEYb0lg0sG1pZkiqltY+3mV5N68XrhwoVUF
lAz0qFh8Rh0QkxfUjFeOy1FeK74/QyTrL32lBaX1BOm8sN0gMh+GiYvjNMO1Icdb
oXiJO+KO92zmWVkcV8tdawTfLMcTaIp/xSu5N3JAHfdVk0cnTdLz5gTQ3casBvMC
uSlyJeOT0GX+Vf0XtKDHzG/dZ3ZCytaSvZo2gXmZ+j8YqJqipfV0xfRJ2L3bxyQP
PRsYZr8trBqb2orKoYBEfSIwh28jjxi8nEjfrRrvVmJYXdYNc77Q0btktsDGe/cF
zC8ZnBPT/WcbVxgq6sv9jACZsdwxLEn8jOI2dbRtCJOdF2/AGXSus5dKsAgHb67B
kq/dVVrohKsXPUaz1Fqal4UQVdf3qjnl7HpM9sVfoZZFkcf3mGt+goHYattWb8xi
iC+hC+EAJZnsehzmvu2jyvHKI/nFv4I3LzIA68UVFAh9T2U5Nhtcc5wBzh3MRTJE
ETuya2h+xAwt89w3woc4WngFvhhMOMWWU6DhOqUUhFzx2e1bvhXf5sqEEpn2X4Gn
LetBuvWZawimNyglbJKLQKCoVGfq8ip/kuPFFc1vHiZXJSbsbyfpqA6KhV6pdYSn
DVpRcdElbgN0fI5VFIBw53iiXxddzYuVWPGUSD/FfYrY5QPxsq2+Qpk0T3wVRB31
57IlgXH5p6D9UUaqVLdb/ZAK/8fzFBqwXxMEbKrpLKG9QsPR+HMTNoD238evhDWh
C9zNWCPRrDGkRaZJdEVq7SOgDiScz8+wuhpUPceXGefp7AxW8M3wB7GgDh4RYneu
Ik9lv+YhMRVIpvscxxkSa2P8S0KJ4EbPhP2lsqmL6FX/B8cYqyVd3rfrVEhRo+7l
EL9lAPHJs0Iu63DA9bhNDyE8iayR2B3QxCAvxJhP/Bds61kP2+x+o+XLv/jaspL6
duPAMYS2fVkc71ZzTsQxiJ12dlGMl2zdpWHxA6ez9Cb+91uFDR6Z/AL/Z+D2q+PE
ngGhMIf6jvfomhD/jE9fsrnQ5BKj68pKwNgfj2EvClo0VlWMn46EJIp2NhvSp+km
G0xPRUAeNJiqMOjdoGwRyzPOhPrGxlxeD+pscvqzFq3yiegRhgCWeB7o9uzpBrxl
9T5TnjaCO3oC96XmkBsm1W6pKg3/968gIqkOTBzmCjjzPqwWs1wAW4hWBsUYdwsE
XnHwpM6jY80ZMyUzzxltkvza0lxzXaHBU56J4HjS7JQvKdxxZ8cU4mbCPa45TZ4v
4NvJAir5wT4U4ctUbp6yCf1nM9VDQxjZqbsRW0BbiwS+xNVBn8teURlgX0x07Kcf
A0c4pcu5hqqGRiHP4yveFZqEeXQUH4RLNXE05cdVP+AEvDIWvy2jmN6c1jYecSae
0jAigDYerpNfC+NNB9xtzpScNFpi1EusSw7ztrimNawcT06YSIxmS2G0tCep+Svv
hKV74ABNO2c1TSCoIE7WT8+W2XTkQZg+/GwTdUSdWvFhJkRpH34IE1YIZcAeRH8E
mxBcoIKtjKuUMpaviyqSG+X2to+2qPSA8tiNRTvFTquscrkzBChpH0Ymfcwxkd+y
DLnW20JBuWSnRBN+gNl33GTFd7Gz+FeI/0MvjB4RoCPut7caMARVBPxk92jAtf6O
Un75VlIGl8rapPdsMAznjbiBl3QuHTDE9+Tb8yvz9BcmRNvg4j9obHmA+1STy3wu
p/8Ju8dS0J5GkzchNHiabxXI8qNlaie5X39glD9PBg0P8KSbwGCahimhTBNxBIAk
dPqHodTVRfDJV++sE4e3pdq2Ee6s46oxoRP5T3lW2Qfg5XPcTSFLeXsAPlRIs2e5
HEAUVZN6YOcdjKFjStFC1cWwkyOBtqVTZL64d5AAQZ8PYySqgntRpS1PRlc/vvUX
hNX55K+OEQvH0QYhjcc/iIXa78srjT58R4nvWBT/rswOvdS46s6HrWn2xvm/ENzF
SALi8m/lfnw8qDUAcUe/qr39/q/KoPb9rC17tjtpaTsl1Dii83mNFJ24Ul3IQEL6
ujd7QQ/wp8fseDoF8w9D/W0SJ4P07x6vJW8PR8D2YKw/sRWbuPOyLcqK9VdgK1al
9DLD/q2YZQ+I1hZFpkgnNPYklK1RbXloll0Nv+RBO5rR3sFSC8FYeDjvezD4QBZI
Eie5bTcfJSbdf3co52Xe+3pmQXffoeuDZWO8K6dBjii+4cj3wuyH7a6CbekF4rkU
FjcCrH4DLl9jIT/qZBJg1ZndncOhflK4qO5halRGZQ6mTJalWuFooxOAFbypW5Tw
NZLTaNFV/TRoERMpRu60+33kGfRaxGHBvDdtEa57Bue/gcHmHfvMwJM8VbeyPBED
xrbzUZSlfCc6QVgA+iJDrOTWxWn9vJl3GcAFLF0q3ie1M8ZZbbA6MWKGDDJf1Btm
sR0fGz8aMzjx6IyLJj3wKBqMr/K+kVLN3TClj1+y2KRS1/rUtCI7qpRpnrjHlsCS
l7hvKEhicSufEdWwAv00o+xhKA+2JOVM8l4SUXoUkSYSpf3Fi9C8AZIiuz5BZIAg
hJXDhW8Fy+8MSMJHluoQgi4UZxOkgnCqPrTXHUBW4lT09lcGn4cDdzXJ45eEtpe/
2UuEhSUcwZD37La/2r6NhXc2OX4La0oSKRKGaethMeQzMI+8sqAE2VMfUiq+GiFI