- 当前位置：首页 >应用开发 >使用Python提供高性能计算服务
使用Python提供高性能计算服务
发布时间：2025-11-05 02:38:50 来源：创站工坊 作者：应用开发
前言
python具有丰富的使用算服库，并且很容易作为胶水语言很容易与c/c++进行交互集成。提供
因此为了适应快速变化的高性业务和兼顾计算效率，在上层采用python作为server提供service，使用算服在底层采用c/c++进行计算是提供一种对于算法开发者非常适宜的方式。
python flask库提供http接口以及相关demo页面，高性gunicorn提供多核并行能力，使用算服底层c++库提供单线程上的提供计算。
下面通过一个例子说明这种架构。高性代码地址：python_hps
准备
在实验开始之前，使用算服需要安装flask、提供gunicorn、高性apach bench tool等工具。使用算服
注：所有实验均在linux系统中进行。提供测试机器为4核虚拟机。高性
sudo pip install flask sudo pip install gunicorn sudo apt-get install apache2-utils计算
计算部分模拟真实计算，因此计算量比较大，服务器租用在我测试的虚拟机上单核单线程跑400ms左右。
c++核心计算部分，随便写的：
API_DESC int foo(const int val) { float result = 0.0f; for(int c=0;c<1000;c++) { for(int i=0;i<val;i++) { result += (i); result += sqrt((float)(i*i)); result += pow((float)(i*i*i),0.1f); } } return (int)result; }python wrapper，采用ctypes：
#python wrapper of libfoo class FooWrapper: def __init__(self): cur_path = os.path.abspath(os.path.dirname(__file__)) self.module = ctypes.CDLL(os.path.join(cur_path,./impl/libfoo.so)) def foo(self,val): self.module.foo.argtypes = (ctypes.c_int,) self.module.foo.restype = ctypes.c_int result = self.module.foo(val) return resultflask http API：
@app.route(/api/foo,methods=[GET,POST]) def handle_api_foo(): #get input val = flask.request.json[val] logging.info([handle_api_foo] val: %d % (val)) #do calc result = fooWrapper.foo(val) logging.info([handle_api_foo] result: %d % (result)) result = json.dumps({result:result}) return result单核服务
首先测试python单核服务，同时也是单线程服务(由于python GIL的存在，python多线程对于计算密集型任务几乎起反作用)。
启动服务在script目录下执行run_single.sh，即
#!/bin/sh #python export PYTHONIOENCODING=utf-8 #start server cd `pwd`/.. echo "run single pocess server" python server.py cd - echo "server is started." 测试服务另外打开一个终端，执行script目录下的bench.sh，即
#!/bin/sh ab -T application/json -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo 测试结果CPU运转
ab测试结果
可以看出CPU只用了1个核，负载是2.44 request/second。
多核
启动服务在script目录下执行run_parallel.sh，即
#!/bin/sh #python export PYTHONIOENCODING=utf-8 #start server cd `pwd`/.. echo "run parallel pocess server" gunicorn -c gun.conf server:app cd - echo "server is started."其中gun.conf是一个python脚本，配置了gunicorn的亿华云计算一些参数，如下：
import multiprocessing bind = 0.0.0.0:4096 workers = max(multiprocessing.cpu_count()*2+1,1) backlog = 2048 worker_class = "sync" debug = False proc_name = foo_server 测试服务另外打开一个终端，执行script目录下的bench.sh，即
#!/bin/sh ab -T application/json -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo 测试结果CPU运转
ab测试结果
可以看出CPU用满了4个核，负载是8.56 request/second。是单核的3.5倍左右，可以任务基本达成多核有效利用的的目的。
总结
使用flask、gunicorn基本可以搭建一个用于调试或者不苛责过多性能的服务，用于算法服务提供非常方便。本文提供该方案的一个简单示例，实际业务中可基于此进行修改完善。服务器托管
- Copyright © 2025 Powered by 使用Python提供高性能计算服务,创站工坊 滇ICP备2023006006号-44sitemap