我国的高端计算总体上明显落后于发达国家。自50年代末以来，我国科研单位与大学陆续研制成功几代高端计算机，在国防建设等方面发挥过重要作用，但没有面向市场形成产业。为了促进我国高端计算机的产业化，国家863计划从90年代初开始持续不断地支持曙光并行计算机与超级服务器的研制开发，在高端计算机的产业化方向上迈出了可喜的一步。曙光天演、天潮系列高端服务器已在国内市场占有一席之地，打破了西方国家对我国高端计算机的禁运封锁，并且已出口海外。本文在回顾863计划支持下我国高端计算机研制取得的重大成果基础上，将着重阐述我国发展高端计算机的技术路线，并行计算机的关键技术和曙光超级服务器的主要技术创新特色，并展望了我国高端计算机推广应用的光明前景。
二、我国发展高端计算机的技术路线选择
在高技术领域特别是技术进步日新月异的计算机领域，中国这样的发展中国家想要迎头赶上西方发达国家，选择正确的技术路线十分关键。863计划刚起步时正值日本红红火火地开展智能计算机研制，受日本五代机的影响，我国863计划计算机主题原定的研究目标也是智能计算机。1990年国家智能计算机研究开发中心成立以后，我国面对的第一个选择就是要不要跟日本人走。经过对国内外计算机发展趋势的反复调研分析，我们清醒地认识到计算机产业虽然发展很快，但已相当成熟，已经形成了一系列国际工业标准。脱离工业标准与计算机主流技术的所谓智能计算机（prolog机）不可能有好的前途。我们果断地选择以并行处理技术为基础的高性能计算机为主攻方向，以共享存储多处理机为第一个目标产品。十年来，我们顶着“智能计算机”的帽子，但一直以满足市场需要的高性能计算机为目标，从未动摇。同时在应用软件和人机接口方面，特别是Internet网络应用上加强智能化软件的研究，提高应用软件的智能化水平，力争机器“傻瓜化”。事实证明这一研究方向选择是明智的。
确定正确的科研目标后，下一个选择是如何研制高性能并行计算机。是一切从头做起，强调所谓国产化率，脱离主流技术自己另搞一套，还是“有所为有所不为”，在增值链上选择最佳创新增值环节，站在巨人肩膀上攀登。我们吸取了中科院计算所过去“八年抗战”研制一台计算机的教训，把缩短研制周期、机器推出时具有市场竞争力作为优先考虑因素，率先在国内采用微处理器芯片和UNIX操作系统研制并行机。计算机产业发展的一个重要趋势是从垂直型企业向水平型企业发展，即每一个企业以增值链上某一个或少数几个环节为主发展业务，如Intel公司侧重于CPU芯片，微软公司侧重于操作系统、Oracle公司侧重于数据库、IBM公司侧重于系统与服务等。根据自身条件，我们定位在系统与应用服务层次，主要在机器内部互连网络、机群操作系统、Internet网络应用、高可用性与系统安全等方面增值创新。几年来的实践表明，我们选择的“有所为有所不为”的技术路线为我国发展高端计算机产业开拓了新路。
三、曙光计算机的发展历程
曙光一号研制成功以后，国家智能机中心就开始研制曙光1000大规模并行机。大规模并行机的关键技术是如何把大量处理机有效连接起来的高速互连网络和每个处理单元的核心操作系统。国家智能机中心率先在国内突破了“蛀洞路由”这一关键技术，研制成功路由芯片，为我国发展大规模并行机探索了一条道路。另一方面我们把处理单元的核心操作系统做得很小巧精致，占用内存很小，为用户提供了更多存储空间，使得曙光1000能求解的问题规模大大超过相同处理单元数目的国外并行机，比如曙光1000能求解包含15000个未知数的线形方程组。曙光1000峰值速度25亿次，成为国内研制成功的第一个实际运算速度超过每秒10亿次浮点运算的并行机。
MB:内存总线P/C:处理器和缓存LM:局域内存
NIC:网络接口卡OS:结点操作系统
图2：典型的高端计算机体系结构
四、高端并行计算机的几项关键技术
1、并行机的互连通信技术
当两个以上消息包同时送到一个结点，或同时要占用一条通信线路时，就会发生传输冲突。在实际应用中常要求所有结点的有关信息汇集到一个结点，即所谓all-to-one或all-to-all通信，由于接收带宽远小于聚合的发送带宽，信息将堵塞在线路上，影响其他的通信，整个系统性能将大受影响。因此，如同交通管制一样，并行机系统必须有多个层次的流量控制（flowcontrol）。一般来讲，不仅在底层而且在并行程序、算法和作业调度层次都要考虑通信的负载平衡。
并行计算机内部通信的性能不仅与通信硬件性能有关，如结点到网络的接口板（NIC），路由芯片、处理机存储总线与I/O总线带宽等，而且与通信软件（协议结构与算法）及用户环境有密切关系，设计支持多用户、多进程和多道程序的超级服务器的通信系统比只支持单进程科学计算的通信系统要困难得多。
2、具有单一系统映象的机群操作系统
操作系统是一台计算机最核心的系统管理软件，微机与工作站的操作系统，如NT和UNIX，有效地管理一台微机和工作站的硬件软件资源。对于由几十台甚至几百台微机或工作站组成的机群系统，如何使用户面对的不是几十个以上独立的IP地址、文件系统，而真正是协调工作的一台大计算机，就需要管理系统全部资源的机群操作系统，即在NT或UNIX之上再增加一层系统软件。目前国外也正在开发这一类系统软件，没有一家能像Windows一样垄断市场。机群操作系统的关键技术是实现单一系统映象。
所谓单一系统映象（SingleSystemImage）并不是像共享存储多处理机一样有一个集中的操作系统在共享存储器中，而是通过机群管理软件使用户感觉到在使用一台大机器，其主要特点包括以下几点：单一控制、对称性与位置透明性。所谓单一控制是指用户或系统管理员从单一用户界面或单一控制点得到系统服务。对称性是指系统所有文件服务与功能对用户和所有结点是对称的。位置透明性是指用户不必知道设备具体连在哪个结点。要实现单一映象，机群系统必须提供单一登陆点、单一文件系统、单一I/O、网络和存储空间、单一作业管理系统、单一用户界面等等。下面以曙光2000-II超级服务器的单一文件系统（COSMOS）和单一IP软件PowerRouter的实现为例，简单地说明这些关键技术。
COSMOS是基于分布式磁盘的可扩展文件系统，支持文件数据的分布存放、I/O的并行执行和文件系统的分布式控制。在中国开发系统软件有一道难关—目前我们还不掌握结点操作系统源码，我们必须十分巧妙地通过核心扩展保持与主流操作系统（曙光2000-II结点采用IBMAIX操作系统）完全二进制兼容。COSMOS文件系统包括超级块文件、目录文件和数据文件等，用户可以使用大多数UNIX文件命令和函数操作COSMOS文件。用户的I/O请求被分解对多个磁盘文件并行读写，提高I/O性能。设计既要保证单个用户I/O请求的分布执行，又要保证多用户I/O请求的并发性。总之，将存储在各个结点局部外存的文件组织成单一的可扩展的文件系统是一项十分困难而复杂的技术，我们还在进一步努力提高文件系统的可靠性与效率。
信息服务是超级服务器的主要用途之一。如果要求用户采用不同的域名实现不同的服务，如email,web,FTP,BBS等，那是很不方便的事。曙光2000-II通过一个软件PowerRouter实现了单一登陆点，即整个机群系统在网络上对客户只有唯一的系统名，客户用此系统名登陆到机群，而不需要登陆到特定的结点机。实现单一登陆点需要达到多项目标，包括可扩展性、负载平衡、对称性、透明性、一致性、高效与通用性。当系统资源扩充时（增加结点等），单一登陆点系统及用户无须任何改动，新的用户登陆到负载最轻的结点机，登陆到任意结点看到的系统是一样的，系统内部的实现细节用户看不到。当一个用户多次登陆时，不会引起系统不一致。单一登陆点可支持所有流行的标准网络协议。为达到这些目地，必须突破一系列关键技术，如将单一域名解析成不同的IP地址，网络地址转换路由器和IP包分发等。
除了单一文件系统和单一IP软件外，曙光2000-II的机群操作系统还包括系统管理子系统、资源管理子系统、作业管理子系统、单一用户界面等。专家鉴定认为曙光2000-II在机群操作系统等方面已进入国际领先行列。
3、分布式共享存储技术和Cluster-NUMA体系结构
DSM具有较好的单一系统映象，特别突出的是具有像SMP一样的单一地址空间，简化了大型并行程序移植与编程的工作量，国际上一般称为cc-NUMA，即CacheCoherent-NonUniformMemoryAccess并行机。另一方面，机群（Cluster）系统具有非常高的可用性（下一节论述）。国家智能计算机研究开发中心提出了一种新的体系结构，叫Cluster-NUMA，或简称C-NUMA，已在曙光2000-II上初步实现。C-NUMA结合了机群结构和cc-NUMA结构两方面的优点，在未来几年内，将成为超级服务器的发展方向。C-NUMA支持根据用户需求对机群实现动态分割。比如可将一台超级服务器分成分别进行科学计算、事务处理和信息服务三个子系统，每个子系统有相对独立的资源和单一存储空间、单一网络与I/O空间。在用户看来，每一个子系统就如同专门做自己应用的虚拟的超级服务器。在机群操作系统统一管理下，整个系统可以充分优化配置，可以做到处理机在一个子系统，而该结点的一部分存储器或磁盘属于另一个子系统。这种Cluster-NUMA结构非常适合做Internet上应用服务提供商的主服务器。
4、高可用服务器技术
Availability=MTTF/(MTTF+MTTR)
在曙光2000的研制中，我们以双机高可用软件为基础设计实现了多机高可用系统，当一个结点中失效后，在备用结点中立即选择一个最闲的结点加入到服务结点集中。系统通过控制结点上运行的监督软件收集各结点状态信息，进行负载平衡。对于像曙光2000―Ⅱ这样的超级服务器，由于结点数量大，对系统易损部件的电源、风扇等进行监控，及时发现与预测故障十分必要。曙光2000－Ⅱ的硬件监控系统能从近百个结点中及时发现风扇转数变慢导致的CPU温度改变，避免CPU过热出现计算错误，大大提高了系统的可用性。
五、曙光超级服务器的SUMA技术特色
（1）可扩展性（Scalability）
提高可扩展性的另一途径是设计适合并行的问题物理模型和并行算法以及通过编绎优化数据分布。有些对并行处理不大熟悉的用户往往将一些微机上处理的小问题放在大规模并行机上求解，Amdahl定律决定了这样做不会得到大的加速比。并行计算的一条基本原则是“杀鸡不用牛刀”，只有对相对大的问题规模，才能发挥大规模并行机的作用。某应用物理研究所过去总是用小的测试程序做并行，得出物理研究只宜采用4～8个处理机的多处理机的错误结论，影响了我国一大批物理学科研人员。最近该所一批在国外使用过大规模并行机的科研人员在曙光2000―Ⅱ的64～128个处理机上进行流体力学计算，得到接近线性的加速比，说明他们已经掌握了机器的扩展与求解问题相应扩展的基本规律。
（2）好用性（Usability）
（3）易管理性（Manageability）
易管理性是所有服务器，尤其是并行超级服务器系统软件的一个难点。曙光2000―Ⅱ提供单一控制点支持，允许系统管理员从一个地方对整个系统进行全面管理，就像管理一台单机服务器一样。易管理软件由全局资源配置管理、用户任务和通信管理、批处理作业管理、机群管理、硬件监控管理和非计算类应用管理六大子系统组成。管理软件越智能化，管理机器和使用机器就越“傻瓜”化，这是我们追求的目标。
（4）高可用性（Availability）
以SUMA特色为主要创新目标反映了我国计算机科技人员已经逐步纠正片面追求单项性能的倾向，开始走上以高端计算机产业化为努力方向的发展道路。
六、建立国家高端计算环境，努力开拓高端计算机应用
经过863计划与其他国家项目的多年支持，我国高端计算机的研制与产业化已有一定基础。神威计算机、银河计算机和曙光计算机是具有代表性的三种系列高端计算机与高端服务器。神威机与银河机主要面向军事应用，曙光机是面向市场的商品化通用服务品。自1996年以来，国家先后在北京、合肥、武汉、上海、成都等地建立了以曙光计算机为基础的国家高性能计算中心并设立了国家高性能计算基金，已支持100多个单位、250多个课题应用国产高端计算机与服务器进行各方面的科学研究，取得了一批有影响的成果，培养了一批人才。全国已凝聚了上千名使用过超级计算机的科技人员，为推广我国高端计算机应用奠定了基础。
我国的高端计算总体上远远落后于发达国家，在应用和教育方面的差距更大。应用落后并不是由于没有需求，而是一方面由于各单位缺乏足够的财力单独购买高端计算机，另一方面缺乏相应的人才使用与管理高端计算机。如果我国各关键部门继续长期只在微机水平上工作，我国21世纪的竞争力和经济发展的主权将受到极大影响。我国信息化建设也不能一步一步爬行，必须采取跨越的战略迎头赶上，尽快采用高端计算机构筑我国的信息基础设施，实现这一目标的有效途径是各用户单位共享高端计算设备与信息资源。在国家支持下，通过高速互连网络连接数十个不同规模的国家高端计算、数据处理和信息中心，以行业应用为基础形成国家高端计算环境（或称为国家信息网格，即Grid），把高端计算能力送到每一个有需求的用户的办公桌上，国家少量的投入将迅速改变我国高端计算应用落后的严重局面。
建立国家高端计算环境需要做以下几项工作。首先是建立国家高端计算网格。网格是因特网应用的新发展，又称为虚拟计算环境。网格把分布在全国各地的高端计算机连接起来，用户共享网络上资源，感觉如同个人使用一台超级计算机一样。另一项工作是开发高端计算网格系统软件与应用软件，形成生物、环保、防灾、工业设计等子网格系统，建立各行业共享的海量数据库与知识库。更为重要的任务是培养高端计算人才，五年内要培养出上万名熟悉高端计算和本行业应用的人才。只要我们做好顶层设计、周密筹划、认真组织，一定能在五年内初步建成国家高端计算环境，大幅度地提高我国的综合国力和国际竞争力。
作者简介
李国杰，中国工程院院士，中国科学院计算技术研究所研究员。
参考文献
1.KaiHwang,ZhiweiXu,ScalableParallelComputing,
2.DavidE.Ciller,JaswinderPalSingh,AnoopGupta,ParallelComputerArchitecture,
Inthisarticle,wefirstintroducedthetechnologystrategiesofdevelopmentandindustrializationofhighendcomputers(HEC)inChina.Then,wesummarizedtheachievementsofresearchanddevelopmentonHECsupportedbynationalhigh-techR&Dprogramme(863programme).Themajorpartofthisarticleisconcernedwiththekeytechnologiesofparallelcomputers,includedefficientinter-nodecommunication,clusteroperatingsystemwithsinglesystemimage,distributedsharedmemoryandcluster-NUMAcomputerarchitecture,andhighavailability,WealsodiscussedthedistinguishingfeaturesofDawning2000-IIsuperserver,whichisbuiltbytheNationalResearchCenteronIntelligentComputingSystems(NCIC).Finally,weprospectedthebrightfutureofHECapplicationsinChina,thatis,wewillestablishtheNationalHighEndComputingEnvironment,orcalledNationalInformationGrid,inthenextfiveyears.