中文字幕一区二区不卡_一区二区三区四区久久_97成人资源网_gogo高清午夜人体在线_91久久精品国产亚洲_亚洲在线观看视频

新闻中心

首页 > 新闻中心 > 行业新闻 >

浅议Hadoop分布式文件系统HDFS

时间:2017-10-27 08:13:54   阅读:

  Hadoop分布式文件系统HDFS可以部署在廉价硬件之上,能够髙容错、可靠地存储海量数据(可以达到TB甚至PB级)。它可以和MapReduce编程模型很好地结合,能够为应用程序提供高吞吐量的数据访问,适用于大数据集应用程序。
 
设计前提与目标
 
  HDFS的设计前提与目标如下。
 
  (1)硬件错误是常态而不是异常。HDFS被设计为运行在普通硬件上,所以硬件故障是很正常的。HDFS可能由成百上千的服务器构成,每个服务器上都存储着文件系统的部分数据,而HDFS的每个组件随时都有可能出现故障。因此,错误检测并快速自动恢复是HDFS的最核心设计目标。
 
  (2)流式数据访问。运行在HDFS上的应用主要是以流式读为主,做批量处理;更注重数据访问的髙吞吐量。
 
  (3)超大规模数据集。HDFS的一般企业级的文件大小可能都在TB级甚至PB级,支持大文件存储,而且提供整体上髙的数据传输带宽,一个单一的HDFS实例应该能支撐数以千万计的文件,并且能在一个集群里扩展到数百个节点。
 
  (4)简单一致性模型。HDFS的应用程序一般对文件实行一次性写、多次读的访问模式。文件一旦创建、写入和关闭之后就不需要再更改了。这样就简化了数据一致性问题,髙吞吐量的数据访问才成为可能。
 
  (5)移动计算比移动数据更简单。对于大文件来说,移动数据比移动计算的代价要高。操作海量数据时效果越加明显,这样可以提高系统的吞吐量和减少网络的拥塞。
 
  (6)异构软硬件平台间的可移植性。这种特性便于HDFS作为大规模数据应用平台的推广。
 
?

闽公网安备 35010002000114号

主站蜘蛛池模板: 少妇av一区二区三区无码 | 国内精品久久久久影院日本 | 欧美日韩精品福利在线观看 | 久久亚洲伊人 | 久久人人爽人人爽人人片亞洲 | 国产精品久久久一区二区三区 | 色妞ww精品视频7777 | 亚洲日韩国产成网在线观看 | 做a小视频 | 欧美日韩色图 | av天堂久久天堂av色综合 | 韩日午夜在线资源一区二区 | 亚洲av无码久久忘忧草 | 97人妻精品一区二区三区 | 久久精品免费一区二区 | 免费国产成人综合 | 久草免费精品视频 | 无套内谢老熟女 | 久久婷婷大香萑太香蕉a | 精品人妻伦九区久久aaa片69 | 亚洲精品毛片久久久久久久 | 伊人www| 四虎影视永久费观看在线 | 特级全毛片 | 无码精品人妻一区二区三区影院 | 日本韩无专砖码高清 | 无码人妻精品丰满熟妇区 | 日本高清精品 | 99精品在线播放 | 久久福利影视 | 狠狠色噜噜狠狠狠狠色综合久av | 欧美久久综合性欧美 | 久草综合在线观看 | 欧美日韩国产精品va | 天堂日韩 | 边啃奶头边躁狠狠躁玩爽在水里面 | 护士人妻hd中文字幕 | 人人爽人人爽人人片av | 国产成人精品免费视频大全软件 | 美女黄网站在线观看 | 亚洲国产精品综合久久 |