你好,欢迎您来到福建信息主管(CIO)网! 设为首页|加入收藏|会员中心
您现在的位置:>> 新闻资讯 >>
优化是最好的“绿色”
作者:刘梅 来源:本站原创 发布时间:2008年11月19日 点击数:

由于对高性能计算的旺盛需求以及对电力的高需求,如何同时提高设备的利用率和电能利用最大化,是东方地球物理公司考虑的问题。

被称为中国“找油先锋”的高性能计算领域的老牌用户——东方地球物理公司(简称“东方公司”)利用高性能的计算能力,在油气勘探新的领域,进一步提升自己的竞争水平,带来更多的效益,为地震勘探绘出“黑金”的藏宝图。
  
  “目前我们每天的电费大约3万多元。”研究院副总工程师、处理中心总工、教授级高工赖能和说。从2002年到2007年,BGP所拥有的CPU数量、总体运算能力、总存储容量分别增长了40倍、7354倍和300倍。“我们现在拥有超过1.5万颗CPU、2.6万多个核、2000T存储规模的数据中心,每年光电费成本就超过1000多万元。”赖能和说。
  
  由于对高性能计算的旺盛需求以及对电力的高需求,如何同时提高设备的利用率和电能利用最大化,是东方地球物理公司考虑的问题。
  
开展软硬件优化技术
  
  2005年,东方公司历时3年开展了“地震处理系统硬件资源优化技术研究”项目。该项目主要是针对大规模PCCluster集群环境下,地震数据处理系统中,硬件资源应用中存在的存储I/O数据传输瓶颈,导致软硬件资源运营效率低,特别是CPU利用率低的疑难问题,而开展的软硬件资源优化技术研究。研究内容包括网络技术及与PCCluster优化集成,SAN光纤存储系统技术及集成,存储接口、FC-SATA盘阵与SAN光纤存储系统的整合、应用科学计算数学库MKL优化模块等技术。
  
  而这项研究要达到的主要技术指标,为PCCluster高性能并行地震资料常规处理系统CPU的年平均利用率,由目前的17%~23%提高到35%~40%,形成地震处理系统软硬件集成与优化配套技术,形成PCCluster并行地震资料处理系统优化配置方案,及PCCluster并行处理系统安装集成与优化配置技术规程,形成CPU、存储、网络资源异构平台集中管理监控软件。
  
CPU利用率提高显著
  
  据赖能和介绍,该研究为PCCluster的升级改造、存储架构设计、文件系统参数、硬件集成等优化工作提供了指导方案,使PCCluster的I/O瓶颈得到明显改善,有效提高了CPU的利用率。
  
  开发应用Luster、GPFS、SNFS并行文件系统技术,实现了I/O负载均衡与数据共享,并发读写性能大幅度提高。已在配置GeoEast、GeoCluster、GeoDepth的近4000CPU集群环境中应用,提高了地震数据常规处理、叠前偏移的CPU运行效率。
  
  该研究开发形成CPU、网络、存储资源管理监控软件,实现了对近10000CPU、1600TB存储资源的实时监控、集中管理,为提高设备利用率提供了有效平台。开展单核与多核CPU、不同CPU芯片、不同存储架构、并行作业时CPU数对运行效率影响的深入研究分析,为优化叠前偏移作业、提高CPU利用率提供了参考。形成PCCluster并行处理系统安装集成与优化配置技术规程,为软硬件资源安装、优化集成提供了技术方案。
  
大胆自主创新
  
  在该项目中,采用了Trunking链路聚合技术、基于共享存储机制的SAN光纤存储技术、线速无堵塞交换和计算资源与存储资源分离技术、开发网络化资源管理软件平台、MKL优化技术、分布式数据存取等关键技术。据赖能和介绍,该项目的创新点在于:形成了PCCluster并行处理系统安装集成与优化配置技术规程,为软硬件资源优化集成提供了指导建议方案。自主开发的CPU、网络、存储资源集中管理平台监控软件开发与应用,实现了上万CPU、2000TB规模的处理中心数字化管理。利用Trunking链路聚合网络技术,实现PCCluster的集成优化、升级、改造,有效提升了节点之间网络传输速度,提高了CPU利用率。
  
  开发应用Luster、GPFS、SNFS并行文件系统技术,实现了I/O负载均衡、数据共享,读写性能大幅度提高。目前已在GeoEast、GeoCluster、GeoDepth近4000CPU上广泛应用,大大提高了常规处理、叠前偏移的效率。形成了光纤存储系统的优化集成技术,为SAN存储架构设计、文件系统参数优化等提供了很好的指导方案,对提高CPU利用率产生很大的影响。实现普通FC-SATA盘阵与SAN光纤存储系统整合技术开发,实现了多个I/O共享不同的小盘阵,SATA-FC盘阵的读写性能提高56.25%,已经在3000平方公里的大港岐口3D连片叠前偏移处理、赤道几内亚海洋资料等项目中应用。
  
  系统地开展接口技术对CPU利用率的影响研究,为硬件优化集成提供了很好的参考。系统地开展单核、双核CPU、处理芯片、架构、并行作业CPU数对CPU时效率影响的深入研究分析,为优化叠前偏移作业,提供了很好的参考。
  
多处推广,极具价值
  
  据了解,该技术已经在1万多颗CPU的生产中得到广泛实际应用和推广,解决了生产实际问题,及时为大庆、冀东、新疆、龙岗、大港等超大三维地震海量数据的常规和叠前偏移处理任务提供了应用平台,取得很好的经济和市场效益。为冀东南堡油田、新疆和四川特大油气龙岗田的发现起到重要作用。形成的优化集成技术将对今后的PCCluster优化配置、集成提供很好的技术参考方案。
  
  软硬件的配置大大提高,PCCluster的I/O瓶颈明显改善,I/O存取能力提升3-8倍,CPU等资源的利用率得到大幅度提高,常规处理的平均利用率(1184CPU)达到39.88%,叠前偏移处理的平均利用率(5334CPU)达到62.29%;降低了投资成本,大大提高了软硬件资源运营效率。
  
  该项目经东方地球物理公司组织有关专家对“地震处理系统硬件资源优化技术研究”项目进行了验收。验收组认为:该项目完成了合同规定的任务,达到了合同要求的考核指标,同意通过验收。

由于对高性能计算的旺盛需求以及对电力的高需求,如何同时提高设备的利用率和电能利用最大化,是东方地球物理公司考虑的问题。

  被称为中国“找油先锋”的高性能计算领域的老牌用户——东方地球物理公司(简称“东方公司”)利用高性能的计算能力,在油气勘探新的领域,进一步提升自己的竞争水平,带来更多的效益,为地震勘探绘出“黑金”的藏宝图。
  
  “目前我们每天的电费大约3万多元。”研究院副总工程师、处理中心总工、教授级高工赖能和说。从2002年到2007年,BGP所拥有的CPU数量、总体运算能力、总存储容量分别增长了40倍、7354倍和300倍。“我们现在拥有超过1.5万颗CPU、2.6万多个核、2000T存储规模的数据中心,每年光电费成本就超过1000多万元。”赖能和说。
  
  由于对高性能计算的旺盛需求以及对电力的高需求,如何同时提高设备的利用率和电能利用最大化,是东方地球物理公司考虑的问题。
  
开展软硬件优化技术
  
  2005年,东方公司历时3年开展了“地震处理系统硬件资源优化技术研究”项目。该项目主要是针对大规模PCCluster集群环境下,地震数据处理系统中,硬件资源应用中存在的存储I/O数据传输瓶颈,导致软硬件资源运营效率低,特别是CPU利用率低的疑难问题,而开展的软硬件资源优化技术研究。研究内容包括网络技术及与PCCluster优化集成,SAN光纤存储系统技术及集成,存储接口、FC-SATA盘阵与SAN光纤存储系统的整合、应用科学计算数学库MKL优化模块等技术。
  
  而这项研究要达到的主要技术指标,为PCCluster高性能并行地震资料常规处理系统CPU的年平均利用率,由目前的17%~23%提高到35%~40%,形成地震处理系统软硬件集成与优化配套技术,形成PCCluster并行地震资料处理系统优化配置方案,及PCCluster并行处理系统安装集成与优化配置技术规程,形成CPU、存储、网络资源异构平台集中管理监控软件。
  
CPU利用率提高显著
  
  据赖能和介绍,该研究为PCCluster的升级改造、存储架构设计、文件系统参数、硬件集成等优化工作提供了指导方案,使PCCluster的I/O瓶颈得到明显改善,有效提高了CPU的利用率。
  
  开发应用Luster、GPFS、SNFS并行文件系统技术,实现了I/O负载均衡与数据共享,并发读写性能大幅度提高。已在配置GeoEast、GeoCluster、GeoDepth的近4000CPU集群环境中应用,提高了地震数据常规处理、叠前偏移的CPU运行效率。
  
  该研究开发形成CPU、网络、存储资源管理监控软件,实现了对近10000CPU、1600TB存储资源的实时监控、集中管理,为提高设备利用率提供了有效平台。开展单核与多核CPU、不同CPU芯片、不同存储架构、并行作业时CPU数对运行效率影响的深入研究分析,为优化叠前偏移作业、提高CPU利用率提供了参考。形成PCCluster并行处理系统安装集成与优化配置技术规程,为软硬件资源安装、优化集成提供了技术方案。
  
大胆自主创新
  
  在该项目中,采用了Trunking链路聚合技术、基于共享存储机制的SAN光纤存储技术、线速无堵塞交换和计算资源与存储资源分离技术、开发网络化资源管理软件平台、MKL优化技术、分布式数据存取等关键技术。据赖能和介绍,该项目的创新点在于:形成了PCCluster并行处理系统安装集成与优化配置技术规程,为软硬件资源优化集成提供了指导建议方案。自主开发的CPU、网络、存储资源集中管理平台监控软件开发与应用,实现了上万CPU、2000TB规模的处理中心数字化管理。利用Trunking链路聚合网络技术,实现PCCluster的集成优化、升级、改造,有效提升了节点之间网络传输速度,提高了CPU利用率。
  
  开发应用Luster、GPFS、SNFS并行文件系统技术,实现了I/O负载均衡、数据共享,读写性能大幅度提高。目前已在GeoEast、GeoCluster、GeoDepth近4000CPU上广泛应用,大大提高了常规处理、叠前偏移的效率。形成了光纤存储系统的优化集成技术,为SAN存储架构设计、文件系统参数优化等提供了很好的指导方案,对提高CPU利用率产生很大的影响。实现普通FC-SATA盘阵与SAN光纤存储系统整合技术开发,实现了多个I/O共享不同的小盘阵,SATA-FC盘阵的读写性能提高56.25%,已经在3000平方公里的大港岐口3D连片叠前偏移处理、赤道几内亚海洋资料等项目中应用。
  
  系统地开展接口技术对CPU利用率的影响研究,为硬件优化集成提供了很好的参考。系统地开展单核、双核CPU、处理芯片、架构、并行作业CPU数对CPU时效率影响的深入研究分析,为优化叠前偏移作业,提供了很好的参考。
  
多处推广,极具价值
  
  据了解,该技术已经在1万多颗CPU的生产中得到广泛实际应用和推广,解决了生产实际问题,及时为大庆、冀东、新疆、龙岗、大港等超大三维地震海量数据的常规和叠前偏移处理任务提供了应用平台,取得很好的经济和市场效益。为冀东南堡油田、新疆和四川特大油气龙岗田的发现起到重要作用。形成的优化集成技术将对今后的PCCluster优化配置、集成提供很好的技术参考方案。
  
  软硬件的配置大大提高,PCCluster的I/O瓶颈明显改善,I/O存取能力提升3-8倍,CPU等资源的利用率得到大幅度提高,常规处理的平均利用率(1184CPU)达到39.88%,叠前偏移处理的平均利用率(5334CPU)达到62.29%;降低了投资成本,大大提高了软硬件资源运营效率。
  
  该项目经东方地球物理公司组织有关专家对“地震处理系统硬件资源优化技术研究”项目进行了验收。验收组认为:该项目完成了合同规定的任务,达到了合同要求的考核指标,同意通过验收。