- 当前位置：首页 >人工智能 >Python一行代码完成并行任务
Python一行代码完成并行任务
发布时间：2025-11-05 13:46:38 来源：创站工坊 作者：IT科技类资讯
众所周知，行代行任Python的码完并行处理能力很不理想。我认为如果不考虑线程和GIL的成并标准参数(它们大多是合法的)，其原因不是行代行任因为技术不到位，而是码完我们的使用方法不恰当。大多数关于Python线程和多进程的成并教材虽然都很出色，但是行代行任内容繁琐冗长。它们的码完确在开篇铺陈了许多有用信息，但往往都不会涉及真正能提高日常工作的成并部分。
经典例子
DDG上以“Python threading tutorial (Python线程教程)”为关键字的行代行任热门搜索结果表明：几乎每篇文章中给出的例子都是相同的类+队列。
事实上，码完它们就是成并以下这段使用producer/Consumer来处理线程/多进程的代码示例：
#Example.py Standard Producer/Consumer Threading Pattern import time import threading import Queue class Consumer(threading.Thread): def __init__(self, queue): threading.Thread.__init__(self) self._queue = queue def run(self): while True: # queue.get() blocks the current thread until # an item is retrieved. msg = self._queue.get() # Checks if the current message is # the "Poison Pill" if isinstance(msg, str) and msg == quit: # if so, exists the loop break # "Processes" (or in our case, prints) the queue item print "Im a thread, and I received %s!!" % msg # Always be friendly! print Bye byes! def Producer(): # Queue is used to share items between # the threads. queue = Queue.Queue() # Create an instance of the worker worker = Consumer(queue) # start calls the internal run() method to # kick off the thread worker.start() # variable to keep track of when we started start_time = time.time() # While under 5 seconds.. while time.time() - start_time < 5: # "Produce" a piece of work and stick it in # the queue for the Consumer to process queue.put(something at %s % time.time()) # Sleep a bit just to avoid an absurd number of messages time.sleep(1) # This the "poison pill" method of killing a thread. queue.put(quit) # wait for the thread to close down worker.join() if __name__ == __main__: Producer()唔…….感觉有点像Java。
我现在并不想说明使用Producer / Consume来解决线程/多进程的行代行任方法是错误的——因为它肯定正确，而且在很多情况下它是亿华云码完最佳方法。但我不认为这是成并平时写代码的最佳选择。
它的问题所在(个人观点)
首先，你需要创建一个样板式的铺垫类。然后，你再创建一个队列，通过其传递对象和监管队列的两端来完成任务。(如果你想实现数据的交换或存储，通常还涉及另一个队列的参与)。
Worker越多，问题越多。
接下来，你应该会创建一个worker类的pool来提高Python的速度。下面是IBM tutorial给出的较好的方法。这也是程序员们在利用多线程检索web页面时的常用方法。
#Example2.py """ A more realistic thread pool example """ import time import threading import Queue import urllib2 class Consumer(threading.Thread): def __init__(self, queue): threading.Thread.__init__(self) self._queue = queue def run(self): while True: content = self._queue.get() if isinstance(content, str) and content == "quit": break response = urllib2.urlopen(content) print "Bye byes!" def Producer(): urls = [ "http://www.python.org', 'http://www.yahoo.com", "http://www.scala.org', 'http://www.google.com", # etc.. ] queue = Queue.Queue() worker_threads = build_worker_pool(queue, 4) start_time = time.time() # Add the urls to process for url in urls: queue.put(url) # Add the poison pillv for worker in worker_threads: queue.put("quit") for worker in worker_threads: worker.join() print "Done! Time taken: {}".format(time.time() - start_time) def build_worker_pool(queue, size): workers = [] for _ in range(size): worker = Consumer(queue) worker.start() workers.append(worker) return workers if __name__ == '__main__': Producer()它的确能运行，但是这些代码多么复杂阿!它包括了初始化方法、b2b信息网线程跟踪列表以及和我一样容易在死锁问题上出错的人的噩梦——大量的join语句。而这些还仅仅只是繁琐的开始!
我们目前为止都完成了什么?基本上什么都没有。上面的代码几乎一直都只是在进行传递。这是很基础的方法，很容易出错(该死，我刚才忘了在队列对象上还需要调用task_done()方法(但是我懒得修改了))，性价比很低。还好，我们还有更好的方法。
介绍：Map
Map是一个很棒的小功能，同时它也是Python并行代码快速运行的关键。给不熟悉的人讲解一下吧，map是从函数语言Lisp来的。map函数能够按序映射出另一个函数。例如
urls = [http://www.yahoo.com, http://www.reddit.com] results = map(urllib2.urlopen, urls)这里调用urlopen方法来把调用结果全部按序返回并存储到一个列表里。站群服务器就像：
results = [] for url in urls: results.append(urllib2.urlopen(url))Map按序处理这些迭代。调用这个函数，它就会返回给我们一个按序存储着结果的简易列表。
为什么它这么厉害呢?因为只要有了合适的库，map能使并行运行得十分流畅!
有两个能够支持通过map函数来完成并行的库：一个是multiprocessing，另一个是鲜为人知但功能强大的子文件：multiprocessing.dummy。
题外话：这个是什么?你从来没听说过dummy多进程库?我也是最近才知道的。它在多进程的说明文档里面仅仅只被提到了一句。而且那一句就是大概让你知道有这么个东西的存在。我敢说，这样几近抛售的做法造成的后果是不堪设想的!
Dummy就是多进程模块的克隆文件。唯一不同的是，多进程模块使用的是进程，而dummy则使用线程(当然，它有所有Python常见的限制)。也就是说，数据由一个传递给另一个。这能够使得数据轻松的在这两个之间进行前进和回跃，特别是对于探索性程序来说十分有用，因为你不用确定框架调用到底是IO 还是CPU模式。
准备开始
要做到通过map函数来完成并行，你应该先导入装有它们的模块：
from multiprocessing import Pool from multiprocessing.dummy import Pool as ThreadPool再初始化:
pool = ThreadPool()这简单的一句就能代替我们的build_worker_pool 函数在example2.py中的所有工作。换句话说，它创建了许多有效的worker，启动它们来为接下来的工作做准备，以及把它们存储在不同的位置，方便使用。
Pool对象需要一些参数，但最重要的是：进程。它决定pool中的worker数量。如果你不填的话，它就会默认为你电脑的内核数值。
如果你在CPU模式下使用多进程pool，通常内核数越大速度就越快(还有很多其它因素)。但是，当进行线程或者处理网络绑定之类的工作时，情况会比较复杂所以应该使用pool的准确大小。
pool = ThreadPool(4) # Sets the pool size to 4如果你运行过多线程，多线程间的切换将会浪费许多时间，所以你最好耐心调试出最适合的任务数。
我们现在已经创建了pool对象，马上就能有简单的并行程序了，所以让我们重新写example2.py中的url opener吧!
import urllib2 from multiprocessing.dummy import Pool as ThreadPool urls = [ http://www.python.org, http://www.python.org/about/, http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html, http://www.python.org/doc/, http://www.python.org/download/, http://www.python.org/getit/, http://www.python.org/community/, https://wiki.python.org/moin/, http://planet.python.org/, https://wiki.python.org/moin/LocalUserGroups, http://www.python.org/psf/, http://docs.python.org/devguide/, http://www.python.org/community/awards/ # etc.. ] # Make the Pool of workers pool = ThreadPool(4) # Open the urls in their own threads # and return the results results = pool.map(urllib2.urlopen, urls) #close the pool and wait for the work to finish pool.close() pool.join()看吧!这次的代码仅用了4行就完成了所有的工作。其中3句还是简单的固定写法。调用map就能完成我们前面例子中40行的内容!为了更形象地表明两种方法的差异，我还分别给它们运行的时间计时。
结果：
相当出色!并且也表明了为什么要细心调试pool的大小。在这里，只要大于9，就能使其运行速度加快。
实例2：
生成成千上万的缩略图
我们在CPU模式下来完成吧!我工作中就经常需要处理大量的图像文件夹。其任务之一就是创建缩略图。这在并行任务中已经有很成熟的方法了。
基础的单线程创建
import os import PIL from multiprocessing import Pool from PIL import Image SIZE = (75,75) SAVE_DIRECTORY = thumbs def get_image_paths(folder): return (os.path.join(folder, f) for f in os.listdir(folder) if jpeg in f) def create_thumbnail(filename): im = Image.open(filename) im.thumbnail(SIZE, Image.ANTIALIAS) base, fname = os.path.split(filename) save_path = os.path.join(base, SAVE_DIRECTORY, fname) im.save(save_path) if __name__ == __main__: folder = os.path.abspath( 11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840) os.mkdir(os.path.join(folder, SAVE_DIRECTORY)) images = get_image_paths(folder) for image in images: create_thumbnail(Image)对于一个例子来说，这是有点难，但本质上，这就是向程序传递一个文件夹，然后将其中的所有图片抓取出来，并最终在它们各自的目录下创建和储存缩略图。
我的电脑处理大约6000张图片用了27.9秒。
如果我们用并行调用map来代替for循环的话：
import os import PIL from multiprocessing import Pool from PIL import Image SIZE = (75,75) SAVE_DIRECTORY = thumbs def get_image_paths(folder): return (os.path.join(folder, f) for f in os.listdir(folder) if jpeg in f) def create_thumbnail(filename): im = Image.open(filename) im.thumbnail(SIZE, Image.ANTIALIAS) base, fname = os.path.split(filename) save_path = os.path.join(base, SAVE_DIRECTORY, fname) im.save(save_path) if __name__ == __main__: folder = os.path.abspath( 11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840) os.mkdir(os.path.join(folder, SAVE_DIRECTORY)) images = get_image_paths(folder) pool = Pool() pool.map(create_thumbnail,images) pool.close() pool.join()5.6秒!
对于只改变了几行代码而言，这是大大地提升了运行速度。这个方法还能更快，只要你将cpu 和 io的任务分别用它们的进程和线程来运行——但也常造成死锁。总之，综合考虑到 map这个实用的功能，以及人为线程管理的缺失，我觉得这是一个美观，可靠还容易debug的方法。
好了，文章结束了。一行完成并行任务。
- 上一篇：最近想修改一下Wordpress的模板，所以还是要在本地建一个LAMP环境调试比较方便，简单记录一下，给需要的朋友做个参考。其实在本站有许多关于在Ubuntu Linux下搭建LAMP服务器的相关资料，这次推出面向新手的在Ubuntu 9.10下搭建LAMP服务器安装WordPress 网络信息发布平台。近些时间我们又推出了关于Ubuntu 9.10系统的详细安装教程。对于不少初入Linux的来说Ubuntu系统应用已经很熟练，并且Linux系统也被越来越多的个体或企业应用，但是Linux系统相对Windows系统的全面普及还需等待时日。先来看看装好的效果图。（见图1）图1安装LAMP我们简单介绍利用命令安装Apache，具体安装命令如下所示（见图2）：图2sudo apt-get install apache2安装PHP支持（见图3）图3 sudo apt-get install libapache2-mod-php5 php5安装mysql-server与mysql-admin（见图4）图4 sudo apt-get install mysql-server-5.0 mysql-common mysql-admin linuxidc@linuxidc-laptop:~$ sudo apt-get install mysql-server-5.0 mysql-common mysql-adminmysql-common 已经是最新的版本了。mysql-common 被设置为手动安装。将会安装下列额外的软件包： libdbd-mysql-perl libdbi-perl libgtkhtml3.8-15 libhtml-template-perl libnet-daemon-perl libplrpc-perl mysql-client-5.0 mysql-gui-tools-common mysql-query-browser mysql-server-core-5.0建议安装的软件包： dbishell libgtkhtml3.8-dbg libipc-sharedcache-perl mysql-doc-5.0 tinyca mailx下列【新】软件包将被安装： libdbd-mysql-perl libdbi-perl libgtkhtml3.8-15 libhtml-template-perl libnet-daemon-perl libplrpc-perl mysql-admin mysql-client-5.0 mysql-gui-tools-common mysql-query-browser mysql-server-5.0 mysql-server-core-5.0共升级了 0 个软件包，新安装了 12 个软件包，要卸载 0 个软件包，有 0 个软件未被升级。需要下载 39.8MB 的软件包。解压缩后会消耗掉 123MB 的额外空间。您希望继续执行吗？[Y/n]下面是安装过程中设置MySQL的用户名与密码（见图4-5）。图4图5安装好后可以以图形的界面打开（见图6） 图6补充下：在图6之前，好像还要安装的（见图7）sudo apt-get install php5-mysql图7linuxidc@linuxidc-laptop:~$ sudo apt-get install php5-mysql[sudo] password for linuxidc: 正在读取软件包列表… 完成正在分析软件包的依赖关系树 正在读取状态信息… 完成 下列【新】软件包将被安装： php5-mysql共升级了 0 个软件包，新安装了 1 个软件包，要卸载 0 个软件包，有 0 个软件未被升级。需要下载 65.9kB 的软件包。解压缩后会消耗掉 246kB 的额外空间。获取：1 http://cn.archive.Ubuntu.com jaunty-updates/main php5-mysql 5.2.6.dfsg.1-3ubuntu4.1 [65.9kB]下载 65.9kB，耗时 4s (13.8kB/s) 选中了曾被取消选择的软件包 php5-mysql。(正在读取数据库 … 系统当前总共安装有 113808 个文件和目录。)正在解压缩 php5-mysql (从 …/php5-mysql_5.2.6.dfsg.1-3Ubuntu4.1_i386.deb) …正在设置 php5-mysql (5.2.6.dfsg.1-3Ubuntu4.1) …第一次运行用root登录不需要密码。可以进去后添加用户同时修改root密码。图8图9然后点击Catalogs，在下面的Schemata里面新建一个数据库。（见图9-10）图9图10 然后进入User Administrator，在新建的User上选Schema Privileges，赋予其对该数据库操作的权限。(见图11-12)启动apache2和mysql server（见图13）sudo /etc/init.d/mysql start;sudo /etc/init.d/apache2 start图13下载Wordpress(http://wordpress.org/latest.tar.gz见图14)，解压缩，放到linuxidc /var/www的目录里，修改权限。(见图15-16) 图14图15图16重新启动apache2(见图17)图17修改wp-config-sample.php文件(见图18)sudo gedit /var/www/linuxidc/wp-config-sample.phpsudo gvim wp-config-sample.php主要是前面三个define(DB_NAME, putyourdbnamehere);/** MySQL database username */define(DB_USER, usernamehere);/** MySQL database password */define(DB_PASSWORD, yourpasswordhere);define(DB_NAME, wordpress); // The name of the databasedefine(DB_USER, username); // Your MySQL usernamedefine(DB_PASSWORD, password); // …and password修改成刚才建立的数据库名称，用户名和密码。 然后运行sudo mv wp-config.php /var/www/linuxidc/sudo mv wp-config-sample.php wp-config.php现在进入入http://127.0.0.1/linuxidc/ (见图19)图18图19发一篇文章试下，OK，效果见图1。图22总结：虽然对于Ubuntu系统的玩家来说，关于Ubuntu系统下LAMP安装相对初学者来说很简单，其实总结起来就是对Apache、Mysql、PHP等Windows下常用的几款软件换平台安装，但对于Ubuntu系统的初学者来说，搭建Lamp环境可能并不是很容易实现。笔者在这里通过图文的形式来讲解每个部分的具体操作，从而确保初学者能够从中有所收获。可以输入命令 : sudo apt-get install chmsee 还有 Firefox 有个插件叫做 CHM Reader ，你可以到 Firefox 的官网上去查找安装，之后就可以查看 CHM 文档了随着互联网的普及，很多公司在各地的分公司都经常需要通过互联网共享或传输一些重要的数据或文件。在网络安全问题日益突出的今天，如何保证Ubuntu系统的数据在传输过程中的安全性呢？本文为大家讲解在Ubuntu系统中如何对文件进行加密传输。 本文介绍基于Ubuntu Desktop 9.10(i386)，采用GNOME集成桌面环境。并设定有两台安装了Ubuntu 9.10桌面版系统的计算机Host1和Host2，都安装了OpenSSH软件包且具有相同的用户账号(为叙述方便，用户名和密码相同)。 准备工作：安装Seahorse密钥管理器插件 默认情况下，Ubuntu 9.10 GNOME集成桌面环境软件没有自带Seahorse密钥管理器插件(seahorse-plugins)，因此在Nautilus(鹦鹉螺)文件浏览器中，选中某个文件并点击鼠标右键后，在弹出的快捷菜单中看不到“加密”与“签署”两个选项，从而无法通过图形化的界面(该插件集成在Nautilus文件浏览器中)来对文件进行加密或签署操作。 为此，我们可以使用“apt-get”命令或“新立得软件包管理器”来手动安装该插件。这里以使用命令行方式来安装为例。依次点击菜单“应用程序→附件→终端”，打开GNOME终端窗口后输入如下命令：“sudo apt-get install seahorse-plugins”，命令执行后即可下载并安装“seahorse-plugins”软件包。安装完成后，从当前系统注销并重新登录，即可在上文所述的快捷菜单中看到“加密”和“签署”两项。 步骤一、在Host1中创建本地用户密钥 依次点击菜单“应用程序→附件→密码和加密密钥”运行Seahorse密钥管理程序。在出现的“密码和加密密钥”窗口中，点击菜单“文件→新建”，则出现“新建”密钥对话框。因为大家要加密的是文件，因此根据说明，选择创建的密钥的类型为“PGP密钥”并点击“继续”按钮进入“新建PGP密钥”对话框。在创建密钥时，需要指定用户的个人信息，如用户名、电子邮件等以及指定加密类型和密钥保密强度等。填写完成后点击“创建”按钮，并输入密钥保护密码后即可创建用户密钥。 步骤二、分发公钥给Host2用户 首先，利用Seahorse密钥管理器导出刚刚创建的公钥。依次点击“密钥和加密密码”窗口中的“文件→导出”，将公钥导出后点击“保存”按钮，则在当前登录用户(testuser)的目录下生成公钥文件“testuser.asc”。接下来，我们将公钥文件传送到Host2主机中(这里以使用“scp”命令为例)。 在Host1上打开一个GNOME终端窗口，输入命令“scp testuser.Asc testuser@Host2:~/.”，执行后首先输入“y”来加入主机Host2到信任主机列表中，再输入Host2上的用户“testuser”的密码，通过后则将Host1上的“testuser.asc”文件复制到Host2主机的testuser用户目录下(/home/testuser)。Host2上的用户接收到密钥文件后，在Seahorse密钥管理器中点击“密钥和加密密码”窗口中的“文件→导入”，在当前登录用户目录下找到文件“testuser.asc”并打开，即可完成导入。 步骤三、Host2用户加密待发文件 有了Host1用户的公钥，在Host2上就可以使用它来对文件进行加密了。在Nautilus文件浏览器中，鼠标右键点击待加密文件，在弹出的快捷菜单中选择“加密”项，则弹出“选择收件人”对话框(如图3所示)。在密钥列表中将自动列出当前系统中的可用密钥，选定刚刚导入的Host1用户的公钥，并勾选其前的方框，点击“确定”按钮，则开始对文件进行加密，并生成“.pgp”文件名结尾的加盟文件(如“abc.pgp”)。 同样，使用“scp”命令将加密后的文件传送到Host1中“scp abc.pgp testuser@Host1:~/.”。 步骤四、Host1用户解密收到的文件 Host1上的用户接收到Host2用户传过来的加密文件后，在Nautilus文件浏览器中鼠标右键点击该文件，在弹出的快捷菜单中选择“使用解密文件打开”，按要求输入密钥保护密码后，程序将使用用户的私钥对文件进行解密，并在当前目录下生成解密后的文件，也就是还原出来Host2用户加密过的文件。 现在需要通过因特网进行远程文件传输的操作已经非常多，而为了保障数据安全，对数据进行加密已经是很切实的应用需求。看过本文，相信大家对于在Ubuntu当中进行加密、解密操作已经有了初步的了解，在今后的应用过程中，大家不妨亲自尝试，以提高数据传输的安全性。ubuntu连接windows
- 下一篇：Ryzen5（探索Ryzen5的高性能特点及其在市场上的竞争力）
- 方法一：安装gcc4.4和g++4.4复制代码代码如下:复制代码代码如下:复制代码代码如下:复制代码代码如下:lrwxrwxrwx 1 root root 7 2011-08-14 15:17 /usr/bin/gcc ->gcc-4.7-rwxr-xr-x 1 root root 224544 2011-10-06 05:47 /usr/bin/gcc-4.4-rwxr-xr-x 1 root root 237072 2011-09-17 17:25 /usr/bin/gcc-4.5-rwxr-xr-x 1 root root 302104 2011-09-17 05:43 /usr/bin/gcc-4.6由上面显示可以看出默认安装的是gcc-4.7，现在来改成gcc-4.4删除gcc－4.7的软连接文件/usr/bin/gcc。（只是删除软连接）命令：sudo rm /usr/bin/gcc然后建一个软连接，指向gcc-4.4。命令：sudo ln -s /usr/bin/gcc-4.4 /usr/bin/gcc
- 购买域名之前要考虑哪些因素?
- 只有一行代码的实用小工具
- ElasticSearch索引 VS MySQL索引
- 揭秘斯柯达电脑刷隐藏的神秘技巧（教你轻松掌握斯柯达电脑刷隐藏的方法与技巧）
- 申请域名简单吗?域名申请要注意哪些问题?
- 面试分布式事务必问知识点！
- 浅议NetMQ常见模式和消息加密机制
- 雷神911-s6（一款强大的游戏笔记本，带给你震撼的游戏体验）
- 从网站建设出发，聊聊老域名的主要优势体现
随便看看
IT资讯网源码库亿华云益华科技IT技术网源码下载企商汇香港云服务器服务器租用极客编程益强前沿资讯益华科技益强编程舍智能时代科技前瞻技术快报益强编程堂益强资讯优选益强IT技术网亿华智造编程之道益强科技亿华灵动益华IT技术论坛码上建站运维纵横云站无忧益强智未来益强数据堂亿华云亿华互联汇智坊亿华科技码力社云智核多维IT资讯益强智囊团全栈开发创站工坊益强科技IT资讯网亿华云计算
- Copyright © 2025 Powered by Python一行代码完成并行任务,创站工坊 滇ICP备2023006006号-44sitemap