Question

如何比较yaffs2存储的文件数据块的内容

Answer 1

　　1 虚拟存储技术的产生
　　虚拟化技术并不是一件很新的技术，它的发展，应该说是随着计算机技术的发展而发展起来的，最早是始于70年代。由于当时的存储容量，特别是内存容量成本非常高，容量也很小，对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制，人们就采用了虚拟存储的技术，最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展，人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现，比如磁盘性能越来越好，容量越来越大。但是在大量的大中型信息处理系统中，单个磁盘是不能满足需要，这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集（RAID,可带容错）技术，将多个物理磁盘通过一定的逻辑关系集合起来，成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高，又一种新的存储技术应运而生，那就是存储区域网络（SAN）技术。SAN的广域化则旨在将存储设备实现成为一种公用设施，任何人员，任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI,FC Over IP 等技术，由于一些相关的标准还没有最终确定，但是存储设备公用化，存储网络广域化是一个不可逆转的潮流。
　　2 虚拟存储的概念
　　所谓虚拟存储，就是把多个存储介质模块（如硬盘，RAID）通过一定的手段集中管理起来，所有的存储模块在一个存储池（Storage Pool）中得到统一管理，从主机和工作站的角度，看到就不是多个硬盘，而是一个分区或者卷，就好象是一个超大容量（如1T以上）的硬盘。这种可以将多种，多个存储设备统一管理起来，为使用者提供大容量，高数据传输性能的存储系统，就称之为虚拟存储。
　　虚拟存储的分类
　　目前虚拟存储的发展尚无统一标准，从虚拟化存储的拓扑结构来讲主要有两种方式：即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统，交换设备集成为一个整体，内嵌在网络数据传输路径中；非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式；即数据块虚拟与虚拟文件系统。具体如下：
　　A.对称式虚拟存储
　　图1
　　图1对称式虚拟存储解决方案的示意图
　　在图1所示的对称式虚拟存储结构图中，存储控制设备 High Speed Traffic Directors（HSTD）与存储池子系统Storage Pool集成在一起，组成SAN Appliance.可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的：由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元（LUN），并进行端口映射（指定某一个LUN能被哪些端口所见），主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时，用户只需要将数据写入位置指定为自己映射的盘符（LUN），数据经过HSTD的高速并行端口，先写入高速缓存，HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换，在此过程中用户见到的只是虚拟逻辑单元，而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点：
　　（1）采用大容量高速缓存，显著提高数据传输速度。
　　缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时，会把与当前数据存储位置相连的数据读到缓存中，并把多次调用的数据保留在缓存中；当主机读数据时，在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响（等于光速），因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时，先把数据写入缓存中，待主机端写入动作停止，再从缓存中将数据写入硬盘，同样高于直接写入硬盘的速度
　　（2）多端口并行技术，消除了I/O瓶颈。
　　传统的FC存储设备中控制端口与逻辑盘之间是固定关系，访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中，SAN Appliance的存储端口与LUN的关系是虚拟的，也就是说多台主机可以通过多个存储端口（最多8个）并发访问同一个LUN;在光纤通道100MB/带宽的大前提下，并行工作的端口数量越多，数据带宽就越高。
　　（3）逻辑存储单元提供了高速的磁盘访问速度。
　　在视频应用环境中，应用程序读写数据时以固定大小的数据块为单位（从512byte到1MB之间）。而存储系统为了保证应用程序的带宽需求，往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中，当容量需求增大时，唯一的解决办法是多块磁盘（物理或逻辑的）绑定为带区集，实现大容量LUN.在对称式虚拟存储系统中，为主机提供真正的超大容量，高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比，Power LUN具有很多优势，如大块的I/O block会真正被存储系统所接受，有效提高数据传输速度；并且由于没有带区集的处理过程，主机CPU可以解除很大负担，提高了主机的性能。
　　（4）成对的HSTD系统的容错性能。
　　在对称式虚拟存储系统中，HSTD是数据I/O的必经之地，存储池是数据存放地。由于存储池中的数据具有容错机制保障安全，因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样，在成熟的对称式虚拟存储系统中，HSTD是成对配制的，每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。
　　（5）在SAN Appliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN.
　　因为系统保持了标准的SAN结构，为系统的扩展和互连提供了技术保障，所以在SAN Appliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN.
　　B.非对称式虚拟存储系统
　　图2
　　图2非对称式虚拟存储系统示意图
　　在图2所示的非对称式虚拟存储系统结构图中，网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列，其中主机的数据路径通过FC交换设备到达磁盘阵列；虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作，将各存储阵列中的LUN虚拟为逻辑带区集（Strip），并对网络上的每一台主机指定对每一个Strip的访问权限（可写，可读，禁止访问）。当主机要访问某个Strip时，首先要访问虚拟存储设备，读取Strip信息和访问权限，然后再通过交换设备访问实际的Strip中的数据。在此过程中，主机只会识别到逻辑的strip,而不会直接识别到物理硬盘。这种方案具有如下特点：
　　（1）将不同物理硬盘阵列中的容量进行逻辑组合，实现虚拟的带区集，将多个阵列控制器端口绑定，在一定程度上提高了系统的可用带宽。
　　（2）在交换机端口数量足够的情况下，可在一个网络内安装两台虚拟存储设备，实现Strip信息和访问权限的冗余。
　　但是该方案存在如下一些不足：
　　（1）该方案本质上是带区集——磁盘阵列结构，一旦带区集中的某个磁盘阵列控制器损坏，或者这个阵列到交换机路径上的铜缆，GBIC损坏，都会导致一个虚拟的LUN离线，而带区集本身是没有容错能力的，一个LUN的损坏就意味着整个Strip里面数据的丢失。
　　（2）由于该方案的带宽提高是通过阵列端口绑定来实现的，而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右，因此要达到几百兆的带宽就意味着要调用十几台阵列，这样就会占用几十个交换机端口，在只有一两台交换机的中小型网络中，这是不可实现的。
　　（3）由于各种品牌，型号的磁盘阵列其性能不完全相同，如果出于虚拟化的目的将不同品牌，型号的阵列进行绑定，会带来一个问题：即数据写入或读出时各并发数据流的速度不同，这就意味着原来的数据包顺序在传输完毕后被打乱，系统需要占用时间和资源去重新进行数据包排序整理，这会严重影响系统性能。
　　4 数据块虚拟与虚拟文件系统
　　以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同，实际从虚拟化存储的实现原理来讲也有两种方式；即数据块虚拟与虚拟文件系统。
　　数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中，由于多台主机通过多个交换机端口访问存储设备，延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术，为多台客户机提供了极高的带宽，最大限度上减少了延时与冲突的发生，在实际应用中，数据块虚拟存储方案以对称式拓扑结构为表现形式。
　　虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限，保证网络文件的安全。在实际应用中，虚拟文件系统存储方案以非对称式拓扑结构为表现形式。
　　虚拟存储技术和这门课的结合点
　　本学期的这门课中，所涉及的虚拟存储技术，实际上是虚拟存储技术的一个方面，特指以CPU时间和外存空间换取昂贵内存空间的操作系统中的资源转换技术
　　基本思想：程序，数据，堆栈的大小可以超过内存的大小，操作系统把程序当前使用的部分保留在内存，而把其他部分保存在磁盘上，并在需要时在内存和磁盘之间动态交换，虚拟存储器支持多道程序设计技术
　　目的：提高内存利用率
　　管理方式
　　A 请求式分页存储管理
　　在进程开始运行之前，不是装入全部页面，而是装入一个或零个页面，之后根据进程运行的需要，动态装入其他页面；当内存空间已满，而又需要装入新的页面时，则根据某种算法淘汰某个页面，以便装入新的页面
　　B 请求式分段存储管理
　　为了能实现虚拟存储，段式逻辑地址空间中的程序段在运行时并不全部装入内存，而是如同请求式分页存储管理，首先调入一个或若干个程序段运行，在运行过程中调用到哪段时，就根据该段长度在内存分配一个连续的分区给它使用。若内存中没有足够大的空闲分区，则考虑进行段的紧凑或将某段或某些段淘汰出去，这种存储管理技术称为请求式分段存储管理
　　现在团IDC网上有45元/年美国空间的团购，便宜有口碑
　　1 虚拟存储技术的产生
　　虚拟化技术并不是一件很新的技术，它的发展，应该说是随着计算机技术的发展而发展起来的，最早是始于70年代。由于当时的存储容量，特别是内存容量成本非常高，容量也很小，对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制，人们就采用了虚拟存储的技术，最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展，人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现，比如磁盘性能越来越好，容量越来越大。但是在大量的大中型信息处理系统中，单个磁盘是不能满足需要，这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集（RAID,可带容错）技术，将多个物理磁盘通过一定的逻辑关系集合起来，成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高，又一种新的存储技术应运而生，那就是存储区域网络（SAN）技术。SAN的广域化则旨在将存储设备实现成为一种公用设施，任何人员，任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI,FC Over IP 等技术，由于一些相关的标准还没有最终确定，但是存储设备公用化，存储网络广域化是一个不可逆转的潮流。
　　2 虚拟存储的概念
　　所谓虚拟存储，就是把多个存储介质模块（如硬盘，RAID）通过一定的手段集中管理起来，所有的存储模块在一个存储池（Storage Pool）中得到统一管理，从主机和工作站的角度，看到就不是多个硬盘，而是一个分区或者卷，就好象是一个超大容量（如1T以上）的硬盘。这种可以将多种，多个存储设备统一管理起来，为使用者提供大容量，高数据传输性能的存储系统，就称之为虚拟存储。
　　虚拟存储的分类
　　目前虚拟存储的发展尚无统一标准，从虚拟化存储的拓扑结构来讲主要有两种方式：即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统，交换设备集成为一个整体，内嵌在网络数据传输路径中；非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式；即数据块虚拟与虚拟文件系统。具体如下：
　　A.对称式虚拟存储
　　图1
　　图1对称式虚拟存储解决方案的示意图
　　在图1所示的对称式虚拟存储结构图中，存储控制设备 High Speed Traffic Directors（HSTD）与存储池子系统Storage Pool集成在一起，组成SAN Appliance.可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的：由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元（LUN），并进行端口映射（指定某一个LUN能被哪些端口所见），主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时，用户只需要将数据写入位置指定为自己映射的盘符（LUN），数据经过HSTD的高速并行端口，先写入高速缓存，HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换，在此过程中用户见到的只是虚拟逻辑单元，而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点：
　　（1）采用大容量高速缓存，显著提高数据传输速度。
　　缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时，会把与当前数据存储位置相连的数据读到缓存中，并把多次调用的数据保留在缓存中；当主机读数据时，在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响（等于光速），因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时，先把数据写入缓存中，待主机端写入动作停止，再从缓存中将数据写入硬盘，同样高于直接写入硬盘的速度
　　（2）多端口并行技术，消除了I/O瓶颈。
　　传统的FC存储设备中控制端口与逻辑盘之间是固定关系，访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中，SAN Appliance的存储端口与LUN的关系是虚拟的，也就是说多台主机可以通过多个存储端口（最多8个）并发访问同一个LUN;在光纤通道100MB/带宽的大前提下，并行工作的端口数量越多，数据带宽就越高。
　　（3）逻辑存储单元提供了高速的磁盘访问速度。
　　在视频应用环境中，应用程序读写数据时以固定大小的数据块为单位（从512byte到1MB之间）。而存储系统为了保证应用程序的带宽需求，往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中，当容量需求增大时，唯一的解决办法是多块磁盘（物理或逻辑的）绑定为带区集，实现大容量LUN.在对称式虚拟存储系统中，为主机提供真正的超大容量，高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比，Power LUN具有很多优势，如大块的I/O block会真正被存储系统所接受，有效提高数据传输速度；并且由于没有带区集的处理过程，主机CPU可以解除很大负担，提高了主机的性能。
　　（4）成对的HSTD系统的容错性能。
　　在对称式虚拟存储系统中，HSTD是数据I/O的必经之地，存储池是数据存放地。由于存储池中的数据具有容错机制保障安全，因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样，在成熟的对称式虚拟存储系统中，HSTD是成对配制的，每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。
　　（5）在SAN Appliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN.
　　因为系统保持了标准的SAN结构，为系统的扩展和互连提供了技术保障，所以在SAN Appliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN.
　　B.非对称式虚拟存储系统
　　图2
　　图2非对称式虚拟存储系统示意图
　　在图2所示的非对称式虚拟存储系统结构图中，网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列，其中主机的数据路径通过FC交换设备到达磁盘阵列；虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作，将各存储阵列中的LUN虚拟为逻辑带区集（Strip），并对网络上的每一台主机指定对每一个Strip的访问权限（可写，可读，禁止访问）。当主机要访问某个Strip时，首先要访问虚拟存储设备，读取Strip信息和访问权限，然后再通过交换设备访问实际的Strip中的数据。在此过程中，主机只会识别到逻辑的strip,而不会直接识别到物理硬盘。这种方案具有如下特点：
　　（1）将不同物理硬盘阵列中的容量进行逻辑组合，实现虚拟的带区集，将多个阵列控制器端口绑定，在一定程度上提高了系统的可用带宽。
　　（2）在交换机端口数量足够的情况下，可在一个网络内安装两台虚拟存储设备，实现Strip信息和访问权限的冗余。
　　但是该方案存在如下一些不足：
　　（1）该方案本质上是带区集——磁盘阵列结构，一旦带区集中的某个磁盘阵列控制器损坏，或者这个阵列到交换机路径上的铜缆，GBIC损坏，都会导致一个虚拟的LUN离线，而带区集本身是没有容错能力的，一个LUN的损坏就意味着整个Strip里面数据的丢失。
　　（2）由于该方案的带宽提高是通过阵列端口绑定来实现的，而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右，因此要达到几百兆的带宽就意味着要调用十几台阵列，这样就会占用几十个交换机端口，在只有一两台交换机的中小型网络中，这是不可实现的。
　　（3）由于各种品牌，型号的磁盘阵列其性能不完全相同，如果出于虚拟化的目的将不同品牌，型号的阵列进行绑定，会带来一个问题：即数据写入或读出时各并发数据流的速度不同，这就意味着原来的数据包顺序在传输完毕后被打乱，系统需要占用时间和资源去重新进行数据包排序整理，这会严重影响系统性能。
　　4 数据块虚拟与虚拟文件系统
　　以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同，实际从虚拟化存储的实现原理来讲也有两种方式；即数据块虚拟与虚拟文件系统。
　　数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中，由于多台主机通过多个交换机端口访问存储设备，延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术，为多台客户机提供了极高的带宽，最大限度上减少了延时与冲突的发生，在实际应用中，数据块虚拟存储方案以对称式拓扑结构为表现形式。
　　虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限，保证网络文件的安全。在实际应用中，虚拟文件系统存储方案以非对称式拓扑结构为表现形式。
　　虚拟存储技术和这门课的结合点
　　本学期的这门课中，所涉及的虚拟存储技术，实际上是虚拟存储技术的一个方面，特指以CPU时间和外存空间换取昂贵内存空间的操作系统中的资源转换技术
　　基本思想：程序，数据，堆栈的大小可以超过内存的大小，操作系统把程序当前使用的部分保留在内存，而把其他部分保存在磁盘上，并在需要时在内存和磁盘之间动态交换，虚拟存储器支持多道程序设计技术
　　目的：提高内存利用率
　　管理方式
　　A 请求式分页存储管理
　　在进程开始运行之前，不是装入全部页面，而是装入一个或零个页面，之后根据进程运行的需要，动态装入其他页面；当内存空间已满，而又需要装入新的页面时，则根据某种算法淘汰某个页面，以便装入新的页面
　　B 请求式分段存储管理
　　为了能实现虚拟存储，段式逻辑地址空间中的程序段在运行时并不全部装入内存，而是如同请求式分页存储管理，首先调入一个或若干个程序段运行，在运行过程中调用到哪段时，就根据该段长度在内存分配一个连续的分区给它使用。若内存中没有足够大的空闲分区，则考虑进行段的紧凑或将某段或某些段淘汰出去，这种存储管理技术称为请求式分段存储管理