一种新型云密码计算平台架构及实现

(1.中国科学院数据与通信保护研究教育中心，北京100093; 2.中国科学院信息工程研究所，北京100093;3.中国科学院大学网络空间安全学院，北京100049)摘要：文章提出一种新型云密码计算平台，通过限速模块和调度底层密码机可 以对外提供灵活的密码运算能力，通过统一认证系统识别用户身份并据此对密钥进行

隔离。该平台基于符合国家标准的国产密码算法密码机实现了原型系统，可以对外提 供合规的国产密码运算。相对于直连密码机，系统性能损耗可以控制在18.201%o关键词：云密码计算；云计算；密钥隔离；密钥管理中图分类号：TP309文献标识码：A文章编号：1671-1122 (2019) 09-0091-05中文引用格式：任良钦，王伟，王琼霄，等.一种新型云密码计算平台架构及实现[J].信息网络安全，

2019, 19 (9)： 91-95.英文引用格式:REN Liangqin, WANG Wei, WANG Qiongxiao, et al. A New Cloud Cryptographic Computing

Platform Architecture and Implementation^]. Netinfo Security, 2019,19(9): 91-95.A New Cloud Cryptographic Computing Platform

Architecture and ImplementationREN Liangqin1'2-3, WANG Wei\ WANG Qiongxiao12-3, LU Linli1-2(1. Data Assurance & Communications Security Center, Beying 100093, China} 2. Institute of Information Engineering,

Chinese Academy ofScience, Beijing 100093, China; 3. University of Chinese Academy of Science,

Beijing 100049, China)Abstract: This paper proposes a cryptographic cloud service platfbnn, which can provide flexible cryptographic operation ability through speed-limiting module and scheduling the underlying cryptographic machine. It can identify the user's identity through a uniform identity authentication system and isolate the key specifically. The prototype system is implemented based on the cipher machine complying with national standard in this paper. Compared with connect to cipher machine directly, the performance loss can reach 18.201%.Key words: cloud cryptographic computing; cloud computing; key isolation; key management0引言密码技术是信息安全的重要保障。随着互联网金融、在线交易等技术的蓬勃发展，身份冒用、网络窃听、

否认信息被发送或接收等一些新的安全威胁也随之出现，对我国的网络安全造成巨大威胁。为了应对这些新出 现的安全威胁，需要身份鉴别、访问控制、数据机密性、数据完整性、不可否认性等相应安全服务，而这些服收稿日期：2019-7-15基金项目：国家密码发展基金[MMJJ20180221]作者简介：任良钦(1995—),男，山东，硕士，主要研究方向为密码应用；王伟(1988—),男，河北，助理研究员，博士，主要研究 方向为密码应用技术；王琼霄(1982—),女，辽宁，高级工程师，博士，主要研究方向为网络认证、密码应用；鲁琳俪(19—),女, 湖北，工程师，硕士，主要研究方向为密码应用。通信作者：王伟wangwei@iie.ac.cnnCtinfo SECURITY入选论文务需要进行大量复杂的密码计算。随着用户数量的增

长，应用提供商需要的复杂的密码计算量也在急速攀 升叫为了避免密集密码计算影响业务系统的整体性

能，应用提供商往往煎专用的密码运算服务来代理 这些复杂的密码运算。应用服务提供商过去煎密码运算服务的方式为

调用高性能密码机。但是高性能密码机受限于扩展性 差的载体，无法动态调整其密码运算的服务能力。由

于应用服务商的应用载荷往往是忙闲不均的，这导致

应用服务商对高性能密码机的综合利用率较低。对于

小型应用服务提供商来说，购买满足其业务峰值需求 的密码机的花费及部署的时间成本难以承受；对于大 型应用服务提供商来说，单台密码机往往无法满足其 运算需求，而多台密码机之间如何安全地共享用户密

钥也是一个严峻挑战。许多信息安全公司都基于云计 算及虚拟化技术提出了密码服务或虚拟密码机解决方

案，但是目前的密码服务方案无法对外提供灵活的密

码运算能力，尤其是无法对单个用户提供超过单台物 理密码机算力的运算能力。密码技术的安全可靠关系着我国网络安全，目前 广泛应用的国际通用密码算法如RSA、SHA-1、MD5、

DES、3DES、AES以及以这些算法为基础实现的数字

签名/验签、数据加密/解密、密钥协商、身份识别等 功能多为外国厂商，存在着安全隐患。而我国具有自 主知识产权和高安全强度的SM系列算法的推广和应

用必将极大提高我国信息安全整体水平。本文提出了一种云密码计算平台，可以对外提供

任意算力的国产SM2、SM3、SM4密码运算服务;平 台基于底层符合国家标准的密码机向外提供合规密码 运算服务，同时平台设计有完善的密钥保护机制保障

用户密钥安全囱；本文还对多密码机之间的负载均衡 策略进行探讨站］。1研究背景目前基于硬件的密码算法分为基于CPU平台、基

于硬件FPGA和ASIC、基于协处理器GPU和Xeon Phi

92

等多种规制。CPU的内部结构复杂，芯片资源大多数 为存储和控制逻辑所占用，讨•算单元只占很少的一部 分。FPGA和ASIC等平台能耗比较高，且其扩展性、

灵活性、计算能力较差，所以GPU作为协处理器对密

码算法加速性能最为突出。图形处理器GPU在硬件架构上拥有远超于CPU

的核心数，这一特点使GPU拥有更强大的算术能力, 使其非常适用于高并发、计算密集的应用场景。目 前最常用的并行计算平台为NVIDIA GPU,研究者在

GPU平台上实现了对称密码算法叫非对称密码算法问、 杂凑算法等一系列算法。其中AES、SM4等算法在并 行计算平台上的实现效率可以达到150GbpSn,但是

PCIE接口在PCIE3.0 X16的带宽仅为 Gbps,因此研 究人员把精力更多地投入到非对称密码的研究中。目 前主流的非对称密码为有限域密码学、椭圆曲线密码 学、整数分解密码学。研究者充分利用GPU平台强大

的算术计算性能取得了许多研究成果阴現近两年在

GPU平台卩⑷上的非对称密码算法的实现获得了同时

代同水平CPU平台的几倍甚至几十倍的性能优势。2云密码计算平台设计2.1系统结构本文所实现的云密码计算平台包括用户接入层、 核心层和物理层3层。1 ）用户接入层主要由用户接入模块、用户管理

模块和平台管理模块组成。用户接入模块用于连同统

一认证系统审核用户身份;用户管理模块用于用户生

成、更新用户密钥;平台管理模块用于平台管理密码 机、数据库，査看操作日志等功能。2） 核心层主要由限速管理模块、密钥管理模块、 负载均衡模块组成。限速管理模块用于根据用户所购 买的密码虚拟机用户请求速度;密钥管理模块用

于根据用户标识符和密钥标识符査询用户密钥;负载

均衡模块用于转发用户密码运算请求并尽量使得各密 码机负载均衡。3） 物理层包括密码机和数据库。GPU密码机负责

N0TINFO SECURITY__________________________________________________________________________________________________ 2019年第9期入选论文密码运算，平台可以根据实际需要增删密码机个数。数 据库用以存储用户密钥,平台存在两个数据库互为备份。平台采用软件即服务方案，平台对外提供的是密 码运算服务而非虚拟密码机。所以平台无需采用物理 机、虚拟机两级架构，使得平台运行效率更高。平台

将其挂载的密码机运算能力抽象出来作为平台整体算 力，并将此作为整体密码运算能力对外提供服务。平 台限速模块通过记录用户密码运算请求次数并与用户

所拥有的密码运算能力相比较进行速度。—二——_——二—

用户接入层isawssi«Wl

...---------------------------------------- 物理层图1平台结构图2.2密钥保护机制本文所实现的平台采用《服务器密码机技术规 范》中所推荐使用的三层密钥机制。第一层为密码机 主密钥，是密码机中最基本的秘密信息，这些密钥作 为初始的秘密用以派生出其他秘密；第二层为用户主

密钥，用以保护用户的用户密钥；第三层为用户密钥， 用以完成用户的加密、解密、签名和验签请求。本文 针对云计算环境对平台的第二层和第三层密钥的生 成、存储方案进行了相应设计。密码机主密钥采用SM4对称密钥，所有密码机

主密钥相同，其安全性由GPU密码机的安全设计保证。用户主密钥采用SM4对称密钥，用于保护用户 的用户密钥。每个用户都有一个的用户主密钥，

用户主密钥无需存储而是使用密码机，主密钥为血y

和用户唯一标识为message,经过/ZM4C算法派生得 到，如公式(1)所示。HMAC(UID + masterKey) = userMasterKey ( 1 ) 其中，密码机主密钥保存于密码机中，而用户唯一标识

由统一认证系统提供。用户身份由统一认证系统提供并

由统一认证系统保证其正确性问，这也是平台用户隔离

的依据。资源管硼务器的用户接入模块会在用户接入 时获取用户唯一标识并保存在连接中，当资源管理服务

器收到用户的密码运算请求时，将用户唯一标识一同发 送给密码机。密码机获取用户唯一标识后连同其拥有

的密码机主密钥一同在密码运算卡中计算出用户主密钥, 当用户主密钥触完毕后从密卡中清除。用户密钥由平台调用密码机内密钥产生模块产生

而非用户自主生成，保证了用户密钥的明文不离开密 码机。用户密钥的类型包括SM2非对称密钥和SM4

对称密钥，每个用户可以有多个用户密钥，由密钥标 识符区分，用户可以更新任意密钥。用户密钥被用户主密钥加密后存储于数据库中，

由用户标识符和密钥标识符索引。当平台接收到用户 密码运算请求时，从统一认证系统处得到用户标识

符，从用户请求中得到密钥标识符并由此查询出用户 密钥，并连同用户请求报文发送给密码机。由密码机

中的密码计算卡计算出用户主密钥后，再用用户主密 钥解密用户密钥得到密钥明文并进行相应计算。2.3负载均衡策略研究为了提高平台的整体性能，平台需要完善负载 均衡策略。本文的云密码计算环境中负载均衡策略

需要重点考虑的因素是密码算法种类、客户端连接 数、客户端请求频率。由于SM2算法的特性，消息长度对算法的运算

速度没有影响；由于GPU密码机的特性，使得SM3、

SM4等简单运算速度非常快，导致整体运行时间中1/

O时间占用绝大部分而计算时间仅占小部分，且GPU 可以进行大包运算，导致消息长度对算法运算速度影

响非常小。不同算法的运算速度有很大差别，因此对 密码机进行负载均衡的主要考虑因素为密码运算的种 类。本文采用了相应设计，通过统计不同算法运算时

间得到不同算法的负载权重。在系统初始时所有密码 机的负载均为零，当资源管理服务器收到用户请求时， 负载均衡模块找出当前负载最低的密码机并将请求转93nCtinfo SECURITY入选论文发给该密码机并为其加上相应权重；当用户的密码运

算完成并由密码机返回时，负载均衡模块为其减去相

应tm,从而保证各密码机负载平衡。GPU密码机一次可以进行大量同种运算。如果密

码机每次站亍某种运算时运算数量都可以达到其可以进 行的最大并发数，则密码机可以达到更高的利用率。同 时，平台所接收的用户的连的求数、请倾率获值

必然有所差异,这也会对平台的负载均衡策略有所影响。

2.4平台算力扩展策略与传统的基于虚拟机的密码计算平台相比，本

文方案最大的优势是可以提供高效灵活的密码运算能

力，尤其是可以提供超过单台密码机的运算能力。本 文方案管理模块负责管理平台中的密码机，系统启动

时，资源管理服务器读取平台管理模块中的配置与密 码机建立永久连接池并向负载均衡模块注册可用连接 和可用算力。平台管理者可以对平台整体负载进行监测，当平

台整体负载较低时，平台管理模块可以下线密码机，平 台重新读取配置信息，将已经下线的密码机从负载均衡

賊中删除》＞相应可用算力;当平台瞬负载较高 时，平台管眸块可以上线密码机，平台重新读取配置

信息、，与新上线的密码机建立永久连接池并注册到负载

均衡模块增加相应可用算力。同时，负载均衡模块管理

的连接池会定时发送心跳包，负载均衡模块也会暂时下 线长时间没有完成心跳检测的连接并调整舞力。由此, 平台可以对夕K供灵活的密码运算服务。2.5工作流程在系统初始化阶段，平台需要进行配置工作，主

要是进行资源的配置。资源管理服务器需要建立与数 据库的永久连接;需要读取密码机列表并与其祖永

久连接池；需要建立起用户限速、负载均衡的缓冲池。 平台的工作流程大致可以分为3个步骤。1）用户接入。当用户进行密码运算请求时，用

户首先需要请求平台进行接入认证。平台请求统一认 证系统鉴别用户身份并将其保存于连接中。942） 获取密钥及限速转发。当统一认证系统认证

用户身份之后，平台便可以根据统一认证提供的用户

身份标识符和用户提供的密钥标识符查询得到被加密

的用户密钥。同时，平台可以根据用户标识符査询出 用户所拥有的密码运算能力并由此用户进行密码 运算的速度。当用户还可以进行密码运算时，平台将

用户的请求经过负载均衡模块转发给密码机。3） 密码运算。密码机收到请求后，根据密码机

主密钥和用户唯一标识进行HMAC运算得到用户主 密钥，使用该密钥可以解密从数据库中读取到的用户

密钥进行密码运算。在密码运算完毕后，将计算结果 返回给用户。3性能分析综合使用平台各项设计原则，本文实现了使用轮 询调度平台的原型系统。为了进行性能测试，实验中 使用一台密码机和一个数据库的简化模型，所有设备

之间采用光纤直连。实验对比模型为客户端与密码机 使用光纤直连的拓扑。实验平台参数如表］所示。表1实验平台设备参数CPUIntel Xeon CPU E5-2690v4 at 2.90GHz * 2GPUNVIDIA GTX 1080OSUbuntu 16.04x LTSMemoryKingston DDR4 8GB *2NetworkBroadcom BCM5720 10 Gigabit本章主要讨论使用云密码计算平台之后对GPU密

码机性能的损耗。相对于謎密码aw密wiow,

平台需要对用户的密码运算请求进行接入认证、限速、

密钥查询使用、负载均衡等额夕噪作，延长了用户的密 码服务请求的流程，飙哙趣一定的性能损失。为了测试平台的性能损失，使用测试客户端向 平台进行密码运算请求和向密码机进行密码运算请 求进行性能对比测试。实验中客户端使用256线程请

求SM4算法运算，实验请求60秒，去除实验开始3秒 内客户端因建立连接可能造成的性能低于正常值的情

况，其余值取平均值。实验过程中各设备GPU利用率、 内存利用率均低于50%,实验结果可以准确反映系统

性能，如表2所示。N0TINFO SECURITY__________________________________________________________________________________________________ 2019年第9期入选论文表2请求平台和密码机性能对比表运算速度/MbpsGPU利用率/%消息

/Byte密码云平台直连密码机损耗比密码云平台直连密码机29.04977.10662.32530.73336.08312855.676121.450.15731.46740.38325611&442152.67222.42034.41740.817512250.036320.85122.07141.61749.3171024518.886660.29921.418.41761.55020481402.0301770.14020.79582.18386.38340962676.2303344.88019.99094.25096.20081924348.7405316.42018.20198.30096.583对比客户端请求平台与请求密码机，消息长度一 致时密码机GPU利用率基本一致。在消息长度达到

256Byte后性能损耗率控制在22.420%,且随着消息

长度增长，损耗比呈下降趋势。进行密码运算请求往 往是对文件进行加解密，可以利用大消息进行密码运

算，所以密码云平台在真正使用中可以将性能损失控 制在18.201%。考虑到平台流程的复杂性，可以认为

18.201%的性能损失是合理的。4结束语密码技术是信息安全的重要保障，是提供鉴别、

访问控制、数据机密性、数据完整性、不可否认性

等相应安全服务的重要支撑。为了对外提供灵活的 密码运算服务，本文设计了一种新型云密码计算平

台，采用GPU密码机进行密码运算，利用统一认证

系统识别用户身份并隔离用户密钥。本文方案原型 系统与直接请求密码机相比，在256 Byte消息长度以 上时可以将性能损失控制在20%左右，且随着消息

长度增长性能损失率逐渐下降。本文对密码机的负 载均衡机制进行了一些探讨研究，并提出了初步方

案，下一步将对负载均衡策略进行更深入研究以提 高平台整体性能。■（责编程斌）参考文献：[1] China Internet Network Information Center. 43rd Statistical Report on the Development of Internet in China[RJ. Beijing: China Internet Network Information Center, V0228, 2019.中国互联息中心.第43次中国互联网络发展状况统计报告[R],

北京：中国互联息中心，V0228, 2019.⑵ WANG Wenxu, ZHANGJian, CHANG Qing, et al. Research on the Security Problem ofCloud Computing Virtualization Platform[J]. Netinfo

Security, 2016,16(9): 163-168.王文旭，，常青，等.云计算虚拟化平台安全问题研究U].信息 网络安全，2016, 16(9)： 163-168.[3] MEI Donghui, LI Hongling. Research on Load Balancing of Virtual Machine Based on Multiple Objective Hybrid Particle Swarm

Optimization[J]. Netinfo Security, 201& 18⑵:78—83.

梅东晖，李红灵•基于多目标混合粒子群算法的虚拟机负载均衡研

究[J].信息网络安全，2018, 18(2)： 78-83.[4] WANG Zewu. Research on Management and Scheduling Technique of Cryptographic Service CloudfD]. Zhengzhou: PLA Strategic Support Force Information University, 2018.王泽武.密码服务云管理与调度技术研究[D].郑州：战略支援 信息工程大学，2018.[5] CHENG Wangzhao. Research on High Performance Cryptography Service System Based on GPU[D]. Beijing: Institute of Information

Engineering, 2019.程王钊.基于GPU的密码服务系统研究[D],北京：信息工程研究所， 2019.[6] DONG Jiankuo. Research on High Speed Asymmetric Cryptography

Implementation Based on GPU[D]. Beijing: Institute of Information Enginerring, 2019.董建阔.基于GPU的非对称密码高速实现技术研究[D].北京：信

息工程研究所，2019.[7] CHENG W ZHENG F, PAN ^etal. High-Performance Symmetric Cryptography Server with GPU Acceleration[C]ASpringer. ICICS 2017.

April 4—6,2017, Irbid,Jordan. Berlin: Springer, 2017:529—0.[8] SZERWINSKI R, GUNEYSUT. Exploit!昭 the Power of GPUs for Asymmetric Cryptography[C]Z/Springer. CHES 2008. August 10—13,

2008, Washington, DC, USA. Berlin: Springer, 200& 79—99.

[9] HARRISON O, WALDRON J. Public Key Cryptography on

Modem Graphics Hardware[EB/OLJ. http://citeseerx.ist.psu.edu/viewdoc/

download?doi=10.1.1.149.6935&rep=repl&type=pdC 2009—10—15.[10] BERNSTEIN DJ, CHEN TR, CHENG C M, et al. ECM on Graphics Cards[C]//Springer. Eurocrypt 2009. April 26—30, 2009,

Cologne, Germany. Berlin: Springer, 2009:483—501.[11] BOS J W. Low—latency Elliptic Curve Scalar Multiplication[J]. InternationalJournal ofParallel Programming, 2012, 40(5): 532—550.[12] DONG J, ZHENG F, EMMART N, et al. sDPF-RSA: Utilizing Floating-point Computing Power of GPUs for Massive Digital Signature

Computations[C]〃IEEE. 2018 International Parallel and Distributed

Processing Symposium. May 21—25, 2018, Vancouver, British Columbia CANADA. Piscataway, NJ: IEEE, 201& 599-609.[13] PAN W ZHENG F, ZHAO Y, et al. An Efficient Elliptic Curve Cryptography Signature Server with GPU Acceleration!]]. IEEE Trans on

Information Forensics and Srcurity, 2017,12(1): 111—122.[14] YE Weiwei, OU Qingyu, BAI Xiaowu. Research on Authentication Scheme ofCryptographic Service System Based on Service Architecture. Netinfo Security, 2016,16(5): 37—43.叶伟伟，欧庆于，柏小武.基于服务架构的密码服务系统认证方案

研究[J].信息网络安全，2016, 16(5)： 37-43.95