1. 文件打开与读取

Python解释器首先以二进制模式打开.py文件：

with open('module.py', 'rb') as file:
    raw_data = file.read()

读取的是文件的原始字节内容，而不是文本字符串。

2. 编码检测与解码

Python解释器通过以下步骤确定文件编码：

• 检查文件开头的字节顺序标记(BOM)
• 查找文件中的编码声明（如# -*- coding: utf-8 -*-)
• 默认使用UTF-8编码

解码过程示例代码：

def detect_encoding(raw_data):
    # 检查BOM
    bom_to_encoding = [
        (b'\xef\xbb\xbf', 'utf-8'),
        (b'\xff\xfe', 'utf-16-le'),
        (b'\xfe\xff', 'utf-16-be'),
    ]
    
    for bom, encoding in bom_to_encoding:
        if raw_data.startswith(bom):
            return encoding, raw_data[len(bom):]
    
    # 检查编码声明
    first_two_lines = raw_data.split(b'\n', 2)[:2]
    for line in first_two_lines:
        if line.startswith(b'#') and b'coding' in line:
            # 提取编码名称
            # 示例: # -*- coding: latin-1 -*-
            match = re.search(rb'coding[:=]\s*([-\w.]+)', line)
            if match:
                return match.group(1).decode(), raw_data
    
    # 默认编码
    return 'utf-8', raw_data

3. 规范化行结束符

Python解释器统一将不同平台的行结束符(\r\n或\r)转换为单个换行符(\n)：

source_text = source_text.replace(b'\r\n', b'\n').replace(b'\r', b'\n')
source_text = source_text.decode(encoding)

此步骤确保不同操作系统的源文件在解释器中有一致的处理方式。

4. 处理源文件内容

解码后的文本被传递给词法分析器，该分析器执行：

• 将源代码分解为token（关键字、标识符、运算符等）
• 忽略空白字符和注释（除非是文档字符串）
• 跟踪每个token的位置信息（行号、列号）

示例：词法分析生成的token序列

def greet(name):
    print(f"Hello, {name}!")

# 词法分析后的token序列：
# [
#   (NAME, 'def'), (NAME, 'greet'), (LPAR, '('), 
#   (NAME, 'name'), (RPAR, ')'), (COLON, ':'),
#   (NEWLINE, '\n'), (INDENT, '    '),
#   (NAME, 'print'), (LPAR, '('), 
#   (STRING, 'f"Hello, {name}!"'), (RPAR, ')'), (NEWLINE, '\n'),
#   (DEDENT, '')
# ]

编码声明建议

推荐在所有Python源文件顶部添加编码声明：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

这样即使文件包含非ASCII字符，也能确保正确解码。

行结束符处理

虽然Python解释器会规范化行结束符，但为保持一致性：

• 在Windows系统中使用CRLF(\r\n)
• 在Unix/Linux系统中使用LF(\n)
• 使用版本控制系统(Git)配置自动转换

特殊文件处理

Python解释器对特殊文件有特别处理：

• __init__.py - 标识包目录
• __main__.py - 包被执行时的入口文件
• *.pyc - 字节码缓存文件

解释器会优先读取.pyc文件（如果可用且未过期）以提高加载速度。