NetApp某油田公司地学数据存储解决方案-石油化工解决方案.doc
NetApp 某油田公司地学数据存储解决方案 -石油化工解决方案 一.行业背景及用户需求分析 地学数据存储系统,既有常规数据中心中存储设备共有特性,又有其独特的地方。分析处理、解释、油藏等地学应用不难发现,除了高度可靠性、高性能、灵活方便的在线扩容等要求外,还有如下的典型特征: ·完整的地学 IT 架构,应该面向多种地学应用系统,以较好的满足他们不同的需求。对处理系统来说,传统上服务器大都是 SMP 并行机系统,对 MFLOPS 有着严格的要求,对用户来说可能正在使用 IBM SP 系列服务器;也可能 SGI ORIGIN高端服务器正在担任着繁重的处理任务;出于性价比的考虑,越来越多的用户开始转向采用 PC LINUX 集群来提供强大的 CPU 处理能力,所以不同时代的处理服务器,应该能够共享地震工区数据,尽量减少数据传输甚至是格式转换这一繁重的工作。 ·今后随着新解释工具( 5X),预存储数据解释 工具( 5X),慢速( 4D)地震( 3X ) 以 及 剪 切 波 数 据 的 运 用 , 数 据 量 将 会 以 惊 人 的 225 倍( 5´5´3´3)的高速度增长,因此存储系统应完全满足未来应用对容量的要求,同时具备在线增容的能力。 ·对地震道解释系统来说,高级的解释系统大都采用高端 SGI 工作站来满足图形方面的苛刻要求,而普通解释工作则可以在 HP、 SUN、 IBM 的工作站上进行,单工区解释可能会有多个技术人员参与,因此存储设备应该具备异构平台、多用户数据共享的能力。 ·随着现场处理技术和 WINTEL 技术的发 展,无论是处理还是解释等其他的应用都开始支持 UNIX 和 WINDOWS 两种版本,因此同时支持 CIFS 协议和 NFS 协议成为存储设备数据共享不可或缺的指标。 ·对三维地震数据来说,无论是处理解释,还是虚拟现实应用系统,都面临一次性加载大数据体的工作,加上应用系统的中间结果,大容量文件系统和大尺寸单个文件的存储设备是高效完成生产任务的可靠保证。 ·处理解释一体化 IT 架构,减少迭后数据传输量,密切处理解释人员的合作,优化整个地震数据的处理流程,提高生产效率,最大化地震数据的利用率。 ·有效的磁盘到磁 盘处理,缩短生产周期,提升竞争力。 正是基于上述考虑,针对标书要求,我们提出如下解决方案。 二.地学数据存储系统解决方案 1.方案设计原则 —— 充分满足标书对存储设备性能、功能的要求。 —— 选用业界领先的技术和产品,保证方案的先进性;充分考虑与原有设备的兼容性和互操作能力,最大程度保护用户投资。 —— 与地学应用系统的成熟结合能力。 —— 存储系统设计完全基于现有计算机和网络设备业界的开放标准,适应用户现有网络系统硬件环境要求。 —— 数据的安全性和系统的高可靠性, 存储系统负责存储整个中心的数据,是典型的关键业务,是不能停止的,对系统的高可靠性有着较高的要求。作为该系统核心的存储平台的高可靠性则更是重中之重。由于采用了集中存储的方案,所有的相关数据均集中存储于统一的平台之上,存储平台的任何故障会造成大的影响。因此存储平台的数据安全性和系统高可靠性尤为重要。 —— 系统的高性能,存储系统要为大量的用户存储数据。由于总的数据量会达到 TB 级 ,如何在这么大数据量情况下满足多个客户机的并发访问,整个存储系统的性能也是一个非常关键的要求。而且考虑到将来业务的增长,数据量还会持续增加,客户机的数量也会继续增加,系统的性能还应能很好的适应未来的扩充和扩展的需要。 —— 系统的可扩展性 /可扩充性,作为集中存储的基本要求,存储系统应能支持巨大的存储容量,可以集中存储不同平台的企业数据,从而在保留分布式处理好处的同时实现核心信息的 —— 集中存储和集中管理,随着时间的推移、技术的发展以及环境的变化,用户的数据量会飞速增长,许多新的用户或新的需求会不断产生,因此对存储系统的可扩展性有很高要求。尽管我们在本方案中已经充分考虑了系统存储容量空间的预留,但随着业务的发展,对存储系统的可扩 展性要求仍将非常迫切。这主要表现在对存储系统容量的平滑扩充以及对新的主机( HOST)系统的平滑连接,以尽量减少对已有正常业务的影响。 —— 数据共享及系统的多平台支持能力,作为集中存储的基本要求,存储系统必须能够同时连接不同的平台,以满足未来数据集中、共享的需要。 —— 灵活性和系统管理的简单性,由于存储系统的数据量非常大,如何有效的管理大量的数据,包括数据备份 /恢复,都对存储系统的管理提出了巨大的挑战。系统管理人员需要有高效的方法实现全面的存储系统监控,包括实时数据性能监视、错误监测、错误状态识别 等等。另外作为集中的存储平台,由于前端需要连接的服务器数量很多,如何在多个服务器平台之间对容量进行灵活的划分和调度也是为存储系统的管理提出了巨大的挑战。 —— 从标书整体要求出发,充分考虑用户对备份系统的要求,利用成熟可靠的 Lan Free 备份技术,实现大数据量的高速备份,减轻系统管理人员的负担,保证处理员和解释员即使在备份时也能正常工作。 2.方案拓扑结构 为了充分满足标书要求,我们选择 NetApp FAS920c 作为集中的存储设备。如下图所示: 3. FAS920C 配置 FAS920C 配 8 条千兆以太网连接,可以做成两个捆绑,分别对应处理 VLAN和解释 VLAN。 NETAPP 存储设备硬件有着简单的架构和满足工业标准的组成部分。简化了维护和管理,并确保采用最新工业技术简单升级。 NetApp 存储设备由两个主要部分组成: 机头和磁盘包。 机头 本方案采用双机头配置,可以被安装在 19”机架上,双机头工作在ACTIVE/ACTIVE 模式下,可以保证正常状态下的高效率,又可实现故障状态下的自动切换,主要功能是运行 NetApp 存储操作系统,是整个存储设备的核心部件。 磁盘包 磁盘包和机头一样,也可安装在 19”机架上,由下述部分组成: 1.电源(热插拔)。 2.14 个 /18/36/72/144/300GB 磁盘(热插拔)。 3.双 ESH2 或 ESH4(失效自动切换)。 4.控制单元(监控和诊断)。 5.多个磁盘包 可以连接在一个机头上,容量从表面上 1TB 到 64TB。可以在线增加磁盘包。 裸容量为 6TB。 1.单盘容量 : 144GB 2.磁盘数量 : 44 3.RAID 组包含盘的数量 : 8 4.快照预留空间 : 0 5.数据盘数量 : 37 6.校验盘数量 : 6 7.热备盘数量 : 1 8.裸空间 : 6.34TB 9.WAFL 占用空间 : 0.5TB 10.可用空间 : 4.53TB 容量计算: 容量的计算公式是: 需求盘的数量 =(客户需求 的有效数据量) /(格式化后的磁盘空间) +(校验盘的数量) +热备盘 空间利用率的公式为: 空间利用率 =(数据盘数量×格式化后的容量) / (总需求盘的数量×每块盘的裸容量) 下面根据用户需求配置出 FAS920c 所需的实际磁盘数、裸盘容量及有效容量。 FAS920C 的软件配置如下: DATA ONTAP 最新版本 /SnapShot/RAID DP Cluster Failover 支持软件 iSCSI 支持软件 SnapDrive for Windows(如果应用 IP SAN) CIFS 支持软件 NFS 支持软件 SnapRestore 软件 4.安装、配置、管理 安装: 由厂家或合格的代理商工程师现场安装。 首先检查用户场地,满足要求后加载 NetApp 软件,通过超级终端完成FAS920C 的基本配置。 与用户交换机连接,分别定义处理服务器和解释及虚拟现时服务器的以太网通道及相关 IP地址,对应不同 VLAN, NetApp存储设备缺省支持两种方式的捆绑:SINGLE MODE和 MULTI MODE, SINGLE MODE对用户交换机没 有特殊要求, MULTI MODE需要交换机支持 CISCO ETHERCHANNEL 技术。 根据用户对可靠性要求的不同,设定热漂盘数量,以及是否采用 RAID DP技术。 配置: 充分考虑地学应用系统的要求,将 NetApp FAS920C 的存储空间配置成若干数据卷: 存储系统根卷,专门用于存储操作系统。 地震处理系统数据卷,用 NFS 形式输出: 地震工区数据库数据卷 地震处理暂存区数据卷 处理员根目录数据卷 地震道解释数据卷,用 NFS 或 CIFS 形式输出。 虚拟现实数据卷, NFS 形式输出。 根据用户的具体需求,还可以划分其他数据卷用于 ORACLE, EXCHANGE 等数据卷。 NetApp 灵活数据卷技术将保证所有数据卷都在高效可靠的状态下工作。 空间分配如下图所示: 正是因为采用 NetApp 的灵活卷( FlexVol)技术,无论数据卷的尺寸是多大,所提供的性能都是整个存储池的性能。 管理: NetApp 存储设备简单软件硬件设计也意味着简单操作。完成系统管理工作也不过仅仅 40 条命令。对管理工作提供命令行接口和图形界面。 命令行接口通过下述方式访问: 串口控制台 TELNET 会话或 SSH 5.方案工作原理介绍 1)专用软件操作系统 存储操作系统 DATA ONTAP 提供灵活数据卷技术保证所有数据卷都在可靠、高性能下工作,同时所有数据卷是构建在牢固的存储池基础上。 NETAPP 的数据卷 , 是业界第一个基于网格存储操作系统 DATA ONTAP 7g 的网格化数据卷 , 具有强大存储虚拟化功能 , 在线扩充能力 , 灵活的最小空间占用的快照 , 同时可以包括 FC LUN, iSCSI LUN, 和文件系统 , 并将他们和谐的构筑在同一存储池上 , 共享灵活方便的管理工具 , 使复杂环境中较小的数据卷拥有最大的性能。 Flexible Volumes 是一个划时代的新技术,所有的卷被视为逻辑的数据容器,同时可以在不破坏底层物理存储结构的前提下被独立的设置、调整大小,管理和移动。 NetApp FlexVol 技术提供了真正的存储虚拟化解决方案,能够缩减开销和资本费用,减少业 务中断并降低风险,同时还具有很高的灵活性,可以快速方便地适应企业不断变化的需求。 FlexVol 技术可以自动集中存储资源,便于您在一个大型磁盘池中创建多个灵活的卷。有了这一灵活性,您就可以简化操作,最大限度地提高利用率和效率,并可以快速、无缝地进行修改。利用 NetApp 存储解决方案,您可以随时随地根据需要以最低成本增加存储容量,并且无需中断业务运作。 如下图所示,一个 Aggregate 被定义为给卷( Volumes)分配空间的许多磁盘的池( pool)。从管理者的角度来看,卷仍保持着对主要项的数据管理 。但由于是对管理者透明, Flexible Volumes 现在面向的是逻辑项而不是传统的物理存储了。 Flexible Volumes 因此不再受限于它们存在的磁盘的限制了。你可以在一个存储的“池”中定义一个你需要多大的空间的 FlexVol,而不是由你创建卷所在的磁盘个数硬性规定。一个 FlexVol 也可以不需要停机任意收缩或者扩展。同时 Flexible Volumes 可以在 Aggregate 所拥有的所有物理磁盘上实现条带化。对于那些对性能敏感的应用来说, Flexible Volumes 比那些由磁盘个数限定 大小的卷拥有更好的性能。 2)多协议支持 FAS920C 和其他 NETAPP 的存储设备一样,都是多协议支持设备,因此无论是地学环境中基于 SMP 的各种 UNIX 并行机,还是目前流行的刀片机;无论是地震道解释用到的任何高低端 UNIX 工作站,还是 WINTEL 平台的便携式解释系统;无论是地学 应用系统,还是办公应用数据的存储,都可以安全的存储在 NETAPP FAS920C 上。 更为重要的是,在上述所有不同应用系统、不同应用平台上可以实现真正数据级的共享,节省大量存储资源。 随着最新技术的发展, NETAPP 成功成为存储界唯一能提供统一化存储设备的厂商,也就是说在同一台存储设备上同时支持 NAS、 FC-SAN、 IP-SAN。这一最新技术,迄今为止,还没有第二个厂家能够做到,而本方案使用的 FAS920C 正是这样一款设备。参见下图。 3)性能保证 NETAPP 存储设备,具备专门服务于数据输入输出的操作系统,这是一个代码尺寸很短的操作系统,因此与数据输入输出相关的指令集中的代码,寻址和执行都远远快于其他的系统。 WAFL 文件系统是一个日志型文件系统,具有聚合读写操作的能力,使磁盘的操作次数降到了最低,性能最高。 条带化的读写算法,使磁盘的读写更规则、更有序,因此效率也最高。 正是基于上述原因,只有 NETAPP 的存储设备具备响应时间小于 1 毫秒的能力。 4)可靠性保证 NetApp FAS920C 是高度 可靠的存储设备,所有部件都采取了冗余技术,保证硬件故障不会造成系统的不可用。 高可靠系列软件及其核心技术,更对数据的服务能力起到了保驾护航的作用。 所有的高可靠措施都对核心业务的运行,最大化地震数据的效益起到了不可忽视的作用。参见下图: 5) NetApp 与石油、天然气行业 NetApp 公司多年来一直致力于为石油天然气行业用户提供高性能、稳定可靠的集中化存储设备,这样的存储设备能够满足用户未来对存储容量的需求,同时能与用户目前环境有机结合,在保护用户投资前提下使用户的 IT 架构发挥出最大的效能。 NetApp 的技术有非常适合于石油天然气行业的特点,高达 6TB 文件系统和单个文件尺寸,能有效满足用户对长记录的需求而不需购买其他的设备和应用,能够保证用户一次性加载较大的三维数据体,并有较大的空间实现盘到盘的处理技术,减少并避免调用记带模块,极大的缩短工区生产周期。 随着以太网技术的发展, NetApp 共享式存储设备有效的改善了整个地震数据生命周期的流程,地质学家可以很方便的访问地球物理家的迭后或各个阶段的数据,密切处理人员和解释人员的关系,增强互动,改善刨面质量,保证解释结果的精确性,使巨大的勘探投资更有效。 可以有效避免传统模式下处理结果和解释输入 数据脱钩的问题,缩短工期。 与网络同步的 JUMBO FRAME技术和网络连接捆绑技术为处理环境有效解决了输入输出问题,并且有更高的可靠性。 NetApp 的能源顾问组总部位于德克萨斯洲的休斯顿,是 SEG、 EAGE 等组织的长期会员,聚集着很多来自于油公司的地球物理和地质专家,深知地学环境对存储设备的要求,架起了 IT厂商和最终用户、 IT厂商和服务提供商之间的桥梁,有效的保证了存储设备更加切合用户的需求,正是这样的原因, NetApp 和Landmark、 Schlumberger、以及 WesternGeo 等 著名公司建立了非常好联系,他们既是 NetApp 的合作伙伴,更是 NetApp 的用户,他们越来越多的用户随后也选择了 NetApp 产品,因此现在世界上几乎所有的石油公司都在使用着 NetApp 的存储设备。 更为重要的是,中石油、中石化、中海油三巨头也早已成为了 NetApp 的用户,因此我们的方案,不仅有先进性,更具有成熟性。 6.方案优势 NetApp 的存储设备,是业界唯一的统一化存储设备,在不做任何硬件改动的情况下,同时支持 NAS、 SAN、 iSCSI 存储模式,有效满足未来用户新的应用系统的不同需求 ,保护用户投资; 大量的地学环境的实施经验保证项目安全快速稳妥的实施; 针对不同应用的多种管理工具 , 弥补应用系统的不足 , 提高工作效率 , 释放管理人员的劳动强度 ; 独有的 RAID DP 技术实现了在一个 RAID 内部 , 即使两块磁盘同时失效 , 也不会造成数据丢失 , 并保证系统运行 , 整体可靠性提高 4000 倍以上 ; 所有存储设备同一体系结构,同一操作系统,同一用户界面,天然的互操作能力,便于管理,节省培训投资; 数据大集中,有效利用存储空间,磁盘利用率最高; 存储设备有业界领 先的快速响应时间( NetApp 是业界第一个提供低于 1ms响应时间的存储厂商); 专业 Data ONTAP 操作系统,高度可靠,免于病毒侵袭感染; 秒钟级的备份和恢复,减少宕机时间,充分提高数据和系统的可用性; Unix 和 Windows 可以实现真正文件级的数据共享,节约投资、简化管理; 满足各种主机平台、操作系统、 Cluster 软件、数据库软件等的接入,为未来系统和业务的扩展奠定坚实基础; 容量扩展简单命令、一秒钟即时见效,独到的 Qtree 概念方便空间的管理,同时真正实现“所买即所 需”的升级模式,最大程度保护投资,不存在任何重复购买现象; 最优的整体拥有成本( TCO); 集群架构,彻底避免单点故障。