tekno.BALI ISLAND
ZH
所有文章
编程3 分钟阅读

Python 3.13 正式打破壁垒:Free-Threading(无 GIL)新时代与 JIT 编译器的诞生

Python 3.13 Free-Threading dan JIT Compiler

三十多年来,Python 凭借其优雅的语法、极高的代码可读性,以及在科学计算和人工智能领域无可比拟的库(libraries)生态系统,一直稳居全球最受欢迎的编程语言之列。然而,在这巨大成功的背后,有一个历史性的"架构原罪"一直在软件工程师中引发激烈的争论:全局解释器锁(Global Interpreter Lock,简称 GIL)。

官方发布的 Python 3.13(Python 3.13 新功能说明) 标志着自 Python 2 向 Python 3 艰难过渡以来最具颠覆性的历史里程碑。CPython 历史上第一次通过自由线程模式(Free-Threaded Mode),让开发者能够在不受 GIL 束缚的情况下访问纯粹的并行执行选项,同时还伴随着新一代**即时编译器(Just-In-Time, JIT Compiler)**的基础架构。

这一飞跃直接在语言层面上打开了充分利用现代多核处理器的大门,而无需再依赖消耗大量内存的多进程(multiprocessing)技巧。


1. 为什么全局解释器锁(GIL)会成为 Python 的诅咒?

要理解这一变革的巨大意义,我们需要回顾一下 CPython 开发初期创建 GIL 的原因。

Python 依赖**引用计数(reference counting)**机制来自动管理内存。每当创建一个对象、将其赋值给变量或放入列表中时,该对象的引用计数器值就会增加。当变量超出作用域(out of scope)时,计数器会减少直至归零,此时内存将立即被垃圾回收器释放。

旧架构(带 GIL):
Thread 1 ----[ 执行字节码 ]--------( GIL 锁 )----------------->
Thread 2 -----------------------------------( 等待 GIL... )----[ 执行 ]->
Thread 3 -----------------------------------( 等待 GIL... )----( 等待中... )
* 在任何 CPU 时间内,只有一个线程可以执行 Python 指令!

当应用程序拥有多个线程(multi-threaded)时,问题就出现了。如果两个线程在没有保护的情况下同时修改同一个对象的引用计数器,就会发生内存损坏(memory corruption)或内存泄漏(memory leak)。

为了避免在每个单独的对象上添加复杂的锁定机制(这会极大地减慢单线程应用程序的执行速度),Python 的创造者选择了一条捷径:嵌入一个单一的全局锁(Global Interpreter Lock)。其后果是,多年来 Python 内置的 threading 模块一直无法加速重计算任务(CPU-bound tasks),因为所有线程都被迫在单一处理器核心上排队轮流执行。


2. PEP 703 架构剖析:Free-Threaded CPython 的工作原理

允许在 CPython 中安全移除 GIL 的创新是由 Sam Gross 通过具有里程碑意义的技术提案 PEP 703 - Making the Global Interpreter Lock Optional in CPython 提出并主导的。

PEP 703 不仅仅是"关闭 GIL 的开关",而是从根本层面上彻底重构了 CPython 的内部架构:

A. 偏向引用计数(Biased Reference Counting, BRC)

CPython 没有对每个对象引用操作使用缓慢的原子操作,而是引入了"偏向引用计数"的概念。每个对象都与其所属的线程(home thread)相关联:

  • 如果属主线程修改其自身对象的引用,则在本地执行该操作,而无需付出原子同步的成本。
  • 只有当外部线程试图修改该对象时,CPython 才会将记录切换到共享原子计数(shared atomic count)。这种巧妙的方法大大降低了性能惩罚。

B. 集成 Mimalloc 分配器

CPython 3.13 现在采用了由微软研究院(Microsoft Research)开发的的高性能内存分配器 mimalloc。该分配器专门设计用于促进大规模并发,确保在不同 CPU 核心上运行的线程不会争夺内存(thread-local heaps)。

C. 永生性与延迟引用计数(Immortality and Deferred Reference Counting)

全局内置对象(如 None、True、False 以及某些特定的基本数据类型)被设置为"永生(immortal)"对象——它们的引用值永远不会改变,因此数十个线程可以毫无同步地安全并发读取它们。

如何在 Python 3.13 中启用和测试 Free-Threading

在 Python 3.13 中,自由线程(free-threaded)支持作为单独的分发包提供(通常标记为 python3.13t)。开发者可以直接从代码中验证 GIL 的激活状态:

import sys

# 检查当前运行时是否在无 GIL 的情况下运行
if hasattr(sys, "_is_gil_enabled"):
    gil_aktif = sys._is_gil_enabled()
    print(f"GIL 激活状态: {gil_aktif}")
    if not gil_aktif:
        print("恭喜!您正在原生运行 CPython Free-Threaded (No-GIL)。")
else:
    print("此运行时使用启用了 GIL 的标准 CPython 构建版本。")

如果在 python3.13t 二进制文件上运行上述脚本,sys._is_gil_enabled() 的返回值将为 False,这证实了 Python 执行引擎已准备好在您机器的所有 CPU 核心上处理纯粹的并发。


3. 深入探讨 PEP 744:Copy-and-Patch JIT 编译器的基石

Python 3.13 的第二个性能突破来自实验性的即时编译器(Just-In-Time),该编译器记录在规范 PEP 744 - JIT Compilation in CPython 中。

传统上,CPython 是一个字节码解释器(bytecode interpreter)。虚拟机通过巨大的循环跳转语句(giant switch-case statement)逐个读取 Python 字节码。这种模式在每个执行周期中都会产生相当大的调度开销(dispatch overhead)。

Copy-and-Patch JIT 执行流程:
Tier 1 字节码(标准) 
       |
       v
热点路径检测(Tier 2 优化器)
       |
       v
复制并修补现成机器码模板(Copy-and-Patch JIT)
       |
       v
直接在微处理器上执行(本地机器码)

CPython 3.13 选择了 Copy-and-Patch JIT 架构。CPython 没有在运行时嵌入像 LLVM 这样沉重的动态编译器(这会增加安装体积并减慢预热时间),而是在使用 Clang 构建 Python 时预先编译了机器码片段(machine code templates)。当程序运行时,JIT 只需要复制(copy)匹配的机器指令模板,并修补(patch)其内存地址即可。

[!NOTE]
在当前的 Python 3.13 版本中,JIT 编译器功能仍处于实验阶段,并且默认情况下处于禁用状态(disabled by default)。从源码构建(build from source)的开发者可以在配置时附加 --enable-experimental-jit 标志。


4. 基准测试评估:何时腾飞,何时承负?

编程语言在现实世界中的性能始终取决于工作负载特征(workload profile)。根据来自性能评估平台 CodSpeed 的深入基准测试分析以及社区的独立测试,以下是关键发现:

A. 多线程 CPU 密集型工作负载(No-GIL 的压倒性胜利)

对于纯粹的并行处理任务,如文件加密、数值矩阵操作、图像压缩或数据批处理:

  • Python 3.12(带 GIL): 在 8 核处理器上运行 8 个线程根本无法提高计算速度,有时由于线程竞争开销(thread contention overhead)反而更慢。
  • Python 3.13t(自由线程): 可扩展性呈接近线性的飙升。在 8 核处理器上,使用 concurrent.futures.ThreadPoolExecutor 带来了高达 7 倍至 7.8 倍 的速度提升(speedup)!

B. 单线程工作负载(BRC 成本惩罚)

由于引用计数系统和内存分配结构必须准备好应对跨线程读取,与标准 Python 3.13 二进制文件相比,运行普通单线程脚本时,python3.13t(Free-Threaded)二进制文件会承担 5% 到 10% 的性能惩罚。

C. I/O 密集型工作负载(Web 与网络应用)

对于基于异步架构的现代 Web 应用(如 FastAPI、Uvicorn 或带 AsyncIO 的 Django):

  • No-GIL 的影响相对中性,因为在等待网络响应或数据库查询(database queries)时,I/O 线程传统上就已经释放了 GIL。

CPython 架构对比表

系统特征 CPython 3.12(稳定版) CPython 3.13(默认版) CPython 3.13t(自由线程版)
GIL 的存在 必须启用 必须启用 已移除(No-GIL)
JIT 编译器 不可用 实验性(可选) 实验性(可选)
内存分配器 PyMalloc Mimalloc 基于并发的 Mimalloc
多核 CPU 可扩展性 无(最多 1 核) 无(最多 1 核) 随核心数几乎呈线性增长
单线程开销 基准(Baseline) 快 1-3% 慢 5-10%
生产环境状态 非常稳定 (LTS) 准备好大规模生产 开放实验阶段

5. 对库生态系统的影响:C 扩展与线程安全的挑战

尽管自由线程是备受期待的未来,但过渡期需要软件架构师的高度谨慎。正如 Real Python 技术教育指南中所述,有两个必须防范的巨大挑战:

1. C/C++ 二进制扩展的就绪状态(NumPy、PyTorch、Pandas)

像 NumPy 和 SciPy 这样的科学库包含数千行低级 C 代码,长期以来一直依赖 GIL 作为防止内存损坏的隐式保护。二进制生态系统现在正竞相发布带有 cp313t 标签的专属轮子包(wheels)。如果您导入尚未支持自由线程的旧 C 扩展包,CPython 将在中途自动重新激活 GIL 以保持内存完整性。

2. Python 代码中的竞态条件(Race Conditions)危险

许多开发者习惯于编写无需使用 threading.Lock 即可访问共享字典(dictionary)或共享列表(shared list)的多线程代码,因为历史上 GIL 防止了两条字节码指令在内存中冲突。

在 Python 3.13t 环境下,这种安全幻觉荡然无存。开发者现在必须实行严格的并行编程实践:

import threading

koleksi_data = {}
kunci_sinkronisasi = threading.Lock()

def perbarui_data_secara_aman(kunci, nilai):
    # 在 Python 3.13t No-GIL 中,必须进行手动加锁
    # 以避免数据竞争条件 (data race)
    with kunci_sinkronisasi:
        koleksi_data[kunci] = nilai

6. 补充功能:现代交互式 REPL 与清理过时模块

除了并行计算领域的内部革命之外,Python 3.13 还引入了许多广受欢迎的开发者体验(Developer Experience - DX)更新:

  1. 全新的交互式 REPL: 受 PyPy 解释器的启发,Python 交互式终端现在默认支持彩色语法高亮(syntax highlighting)、流畅的多行导航,以及无需闭合括号即可键入 exit 或 help 等命令的功能。
  2. 信息更丰富的错误消息: traceback 格式现在会在导致 TypeError 或 NameError 的变量或表达式正下方显示彩色的指针线。
  3. 清理"死电池"(PEP 594): 多达 19 个已经过时或不再由官方维护的标准库模块(如 telnetlib、cgi、cgitb、crypt 和 chunk)已被永久删除,以使 Python 的基础更加现代化。

7. 结论与开发者的行动指南

Python 3.13 的发布标志着现代编程语言计算演进的开篇。Python 社区引入自由线程和JIT 编译器的举措确保了该语言不会被未来在单个硅片上堆叠数十个处理核心的硬件架构所抛弃。

对于软件工程团队和工程师而言:

  • 对于生产环境 Web 应用: 建议您继续使用标准的 Python 3.13 构建版本(启用 GIL),以享受更高的稳定性、彩色的错误诊断以及 mimalloc 内存效率。
  • 对于人工智能、数据科学和密集计算团队: 开始在 python3.13t 二进制文件上测试您的库和流水线。尽早识别并发瓶颈,检查二进制扩展的支持情况,并准备好迎接 Python 生态系统中无限并行处理的黄金时代!
Wilan

巴厘岛Tekno的常驻撰稿人,积极分享技术、编程和软件工程领域的知识。

相关阅读

编程5 分钟阅读

模型上下文协议 (MCP):革新生态系统的"AI 专用 USB-C"开放标准

在过去的几年里,将大规模语言模型(Large Language Models - LLM)集成到软件应用程序中一直面临着一个根本性问题:数据和功能连接的碎片化 1, 2。当开发者希望将人工智能助手连接到 PostgreSQL 数据库、GitHub 仓库、Jira 工单系统或计算机上的本地文

编程3 分钟阅读

GitHub 与 GitLab 的区别:哪个更适合开发者?

刚开始学习 Git 时,通常不需要多久就会遇到这两个名字:GitHub 和 GitLab。 乍一看,这两者几乎一模一样。都可以用来存储源代码、与团队协作、创建分支、合并代码,甚至记录项目中的更改。 由于它们的界面和功能相似,不少人最终会产生这样一个疑问: GitHub 和 GitLab 究