认识达内从这里开始

分布式编程开发是目前大多数软件开发程序员都在学习和使用的一种编程开发技术，而本文我们就通过案例分析来简单了解一下，分布式框架学习需要掌握哪些知识点。

分布式文件系统架构

FS-FileSystem

文件系统是基于硬盘之上的一个文件管理的工具

我们用户操作文件系统可以和硬盘进行解耦

DFS-DistributedFileSystem

分布式文件系统

将我们的数据存放在多台电脑上存储

分布式文件系统有很多

HDFS是mapreduce计算的基础

文件切分思想

文件存放在一个磁盘上效率肯定是低的

读取效率低

如果文件特别大会超出单机的存储范围

字节数组

文件在磁盘真实存储文件的抽象概念

数组可以进行拆分和组装，源文件不会受到影响

切分数据

对字节数组进行切分

拼接数据

按照数组的偏移量将数据连接到一起,将字节数组链接到一起

偏移量

当前数据在数组中的相对位置，可以理解为下标

数组都有对应的索引(下标)可以快速的定位数据

数据存储的原理

不管文件的的大小，所有的文件都是由字节数组构成

如果我们要切分文件,就是将一个字节数组分成多份

我们将切分后的数据拼接到一起，数据可以继续使用

我们需要根据数据的偏移量将他们重新拼接到一起

Block拆分标准

拆分的数据块需要等大

数据计算的时候简化问题的复杂度

进行分布式算法设计的时候，数据不统一，算法很难设计

数据拉取的时候时间相对一致

通过偏移量就知道这个块的位置

相同文件，分成的数据块大小应该相等

数据块Block

数据被切分后的一个整体称之为块

在H1默认大小为64M,在H2及其以后默认大小为128M

同一个文件中，每个数据块大小要一致除了后一个节点外

不同文件中，块的大小可以不一致

文件大小不同可以设置不同的块的数量

真实情况下，会根据文件大小和集群节点的数量综合考虑块的大小

数据块的个数=Ceil(文件大小/每个块的大小)

注意事项

HDFS中一旦文件被存储，数据不允许被修改

修改会影响偏移量

修改会导致数据倾斜

修改数据会导致蝴蝶效益

但是可以被追加，但是不推荐

追加设置需要手动打开

一般HDFS存储的都是历史数据。所以将来Hadoop的mr都用来进行离线数据的处理

块的大小一旦文件上传之后就不允许被修改

128m-512M

Block数据安全

肯定要对存储数据做备份

备份的数据肯定不能存放在一个节点上

使用数据的时候可以就近获取数据

所以备份的数量要小于等于节点的数量

每个数据块会有3个副本，相同副本是不会存放在同一个节点上

副本的数量可以变更

可能近期的数据被分析的可能性跟大，副本数可以多设置几个

后期数据很少被分析，可以减少副本数

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。