python之线程池ThreadPoolExecutor笔记

ThreadPoolExecutor 一、线程池机制

线程池通过预先创建一组空闲线程（工作线程），维护任务队列，实现线程复用。当新任务到达时，线程池会将任务放入队列，由空闲线程自动获取执行，避免了频繁创建/销毁线程的开销

二、ThreadPoolExecutor基础用法🚀

2.1 快速入门模板

from concurrent.futures import ThreadPoolExecutor import time def task(n): print(f"处理任务 {n}") time.sleep(1) return n * n with ThreadPoolExecutor(max_workers=3) as executor: futures = [executor.submit(task, i) for i in range(5)] results = [f.result() for f in futures] print(f"结果: {results}") # 输出: [0, 1, 4, 9, 16] 三、ThreadPoolExecutor 初始化参数详解

1. max_workers (核心参数) 作用：指定线程池中最大线程数 默认值：min(32, (os.cpu_count() or 1) + 4)（基于 CPU 核心数动态计算） 建议：根据任务类型调整（I/O 密集型可适当增大，CPU 密集型建议接近 CPU 核心数） 2. thread_name_prefix (可选) 作用：设置线程名称前缀，便于调试 示例：前缀为 “DownloadPool-” → 线程名称为 DownloadPool-0, DownloadPool-1… 3. initializer (可选) 作用：线程池中每个工作线程创建前，执行的初始化函数（常用于设置线程局部资源） 典型场景：初始化数据库连接、设置线程局部存储(Thread-Local Storage) 4. initargs (可选) 作用：传递给 initializer 的参数（需为元组类型）

与Java线程池对比

看到python 线程池与跟Java的线程池在创建对象时有很大不同。暴露给用户的参数太少了。 不同点有以下几点：

线程池没有最小核心线程池的概念线程池的队列是内置的，用户不可以调整，还是无界队列，使用不当容易OOM线程池用的工作线程是没有限制的时间，也就是说会一直阻塞获取因为使用的是无界队列，所以也就没有了拒绝策略

接下来让我们看一下python 线程池提的接口 这是自身的的= 这是父类的 可以看到线程池对外提供了一个submit 提交任务的方法。 让我们看一下submit的处理流程。 可以看到具体的逻辑应该在_adjust_thread_count()方法中。继续追踪 接下来让我们看一下工作线程的处理逻辑。t.start() 其实运行的就是_worke函数。继续追踪 好了，到此整个提交逻辑代码就追踪完了。

五、总结：

线程池的执行主流程如下：

线程池提交任务

将任务封装成workItem对象

将workerItem对象保存到队列中

判读当前工作线程总数是否小于设置的最大工作线程 是：创建工作线程 => start方法启动线程 => 执行_worke方法 => 调用初始化函数，进行数据初始化(只会执行一次) => 循环从队列中获取任务执行。

否：不创建任务

备注：以上是我自己看源码理解的，如果有不对的地方，还请道友指出。