在实际 Linux 内核开发与性能调优工作中物理内存管理是决定系统稳定性和性能的核心模块。无论是驱动开发、内核模块编写还是系统级性能优化不理解物理内存的组织方式、分配机制和回收策略就很难真正掌握 Linux 系统的运行机理。本文将以 Linux 5.10 内核为基础结合 QEMU 实验环境深入剖析物理内存从启动探测到伙伴系统分配的全流程并给出可验证的实验方法和常见问题排查路径。1. 理解 Linux 物理内存管理的基本框架物理内存管理在内核启动初期就要完成基础布局之后才能支持进程调度、文件系统、网络协议栈等高级功能。它的核心任务包括内存探测、内存映射、物理页面分配与回收。1.1 为什么需要分层管理物理内存在 x86_64 架构中物理内存并不是均匀访问的。NUMANon-Uniform Memory Access架构下CPU 访问本地内存的速度远快于访问远程内存。即使是在 UMA 架构中由于 DMA 设备只能访问低端内存内核也需要区分不同区域的内存用途。Linux 使用struct zone结构管理不同类型的内存区域// 以 Linux 5.10 内核源码为例 enum zone_type { #ifdef CONFIG_ZONE_DMA ZONE_DMA, // 直接内存访问区域0-16MB #endif #ifdef CONFIG_ZONE_DMA32 ZONE_DMA32, // 32位设备DMA区域16MB-4GB #endif ZONE_NORMAL, // 正常映射区域4GB-直接映射上限 #ifdef CONFIG_HIGHMEM ZONE_HIGHMEM, // 高端内存不能直接映射 #endif ZONE_MOVABLE, // 可移动区域防止内存碎片 __MAX_NR_ZONES };这种分区管理使得内核能够根据不同的使用场景分配最合适的内存。例如为 DMA 设备分配 ZONE_DMA 的内存为普通内核操作分配 ZONE_NORMAL 的内存。1.2 物理内存的三种组织视角理解物理内存管理需要掌握三种不同的视角节点Node视角在 NUMA 系统中每个物理 CPU 对应一个内存节点通过struct pglist_data描述。区域Zone视角每个节点内按功能划分为不同的内存区域用struct zone管理。页面Page视角内存分配的基本单位是页面通常4KB通过struct page结构描述每个物理页面。这种层级关系可以表示为Node - Zone - Page。在 UMA 系统中只有一个节点node 0简化了管理复杂度。2. 实验环境搭建与内核编译为了深入理解物理内存管理我们需要一个可调试的实验环境。QEMU 虚拟机配合自定义编译的内核是最佳选择。2.1 内核编译配置首先获取 Linux 5.10 内核源码并进行基础配置# 下载内核源码 wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.10.tar.xz tar -xvf linux-5.10.tar.xz cd linux-5.10 # 基础配置针对 x86_64 架构 make x86_64_defconfig # 启用内存调试选项 ./scripts/config -e CONFIG_DEBUG_KERNEL ./scripts/config -e CONFIG_DEBUG_MEMORY_INIT ./scripts/config -e CONFIG_PAGE_EXTENSION ./scripts/config -e CONFIG_DEBUG_VM ./scripts/config -e CONFIG_PAGE_OWNER # 编译内核 make -j$(nproc)关键配置选项说明CONFIG_DEBUG_VM开启内存管理子系统的调试检查CONFIG_PAGE_EXTENSION扩展 page 结构支持更详细的内存跟踪CONFIG_PAGE_OWNER记录每个页面的分配者用于内存泄漏调试2.2 QEMU 启动配置使用 QEMU 启动自定义内核配置适当的内存大小用于实验# 创建一个 1GB 的磁盘镜像用于根文件系统 qemu-img create -f qcow2 rootfs.qcow2 1G # 启动 QEMU分配 512MB 内存 qemu-system-x86_64 \ -kernel arch/x86/boot/bzImage \ -append consolettyS0 root/dev/sda rw \ -hda rootfs.qcow2 \ -m 512M \ -smp 2 \ -nographic \ -serial mon:stdio-m 512M参数指定虚拟机内存为 512MB这个大小足够演示内存管理机制又不会占用过多宿主机资源。3. 物理内存的启动初始化流程内核启动过程中物理内存管理要经历从无到有的建立过程。这个流程决定了后续所有内存操作的基础。3.1 BIOS/e820 内存探测x86 架构启动时BIOS 通过 e820 调用探测物理内存布局。内核在arch/x86/kernel/e820.c中处理这些信息// 简化版的 e820 表处理流程 void __init e820__memory_setup(void) { // 从 BIOS 获取原始内存映射 struct boot_e820_entry *entries boot_params.e820_table; int nr_entries boot_params.e820_entries; // 处理每个内存区域 for (int i 0; i nr_entries; i) { u64 start entries[i].addr; u64 size entries[i].size; u32 type entries[i].type; switch (type) { case E820_RAM: // 可用内存 memblock_add(start, size); break; case E820_RESERVED: // 保留区域如 ACPI 表 memblock_reserve(start, size); break; // ... 其他类型处理 } } }探测完成后可以通过/proc/iomem查看内存布局# 在 QEMU 中查看内存布局 cat /proc/iomem | grep -A 10 System RAM3.2 早期内存分配器memblock在完整的伙伴系统建立之前内核使用 memblock 分配器管理内存。memblock 将内存分为两个区域memory所有可用物理内存reserved已分配或保留的内存memblock 操作示例// 早期内存分配 phys_addr_t early_mem memblock_alloc(size, align); // 保留特定区域如内核代码区 memblock_reserve(kernel_start, kernel_size);memblock 在setup_arch()函数中被初始化并在伙伴系统就绪后退役。3.3 伙伴系统Buddy System初始化伙伴系统是 Linux 物理内存管理的核心它负责以页面为单位分配和释放物理内存。初始化过程在mm/page_alloc.c的free_area_init()函数中完成// 简化版的伙伴系统初始化 void __init free_area_init(unsigned long *zones_size) { // 初始化每个内存区域 for (int i 0; i MAX_NR_ZONES; i) { struct zone *zone pgdat-node_zones i; // 初始化每个迁移类型的空闲列表 for (int m 0; m MIGRATE_TYPES; m) { INIT_LIST_HEAD(zone-free_area[order].free_list[m]); zone-free_area[order].nr_free 0; } } }初始化完成后memblock 分配器将所有权移交给伙伴系统早期内存分配转换为正式的页面管理。4. 伙伴系统的工作原理与实操验证伙伴系统通过维护11个order 0-10空闲页面链表来管理内存每个链表包含2^order个连续页面的块。4.1 内存分配流程分析以alloc_pages()函数为例看伙伴系统如何分配内存// 分配 2^order 个连续页面 struct page *alloc_pages(gfp_t gfp_mask, unsigned int order) { // 1. 根据 gfp_mask 确定合适的区域类型 struct zonelist *zonelist node_zonelist(nid, gfp_mask); // 2. 按区域优先级尝试分配 for_each_zone_zonelist(zone, z, zonelist, ac-highest_zoneidx) { page rmqueue(zone, order, gfp_mask, alloc_flags); if (page) return page; } // 3. 如果直接分配失败尝试内存回收后再分配 page __alloc_pages_slowpath(gfp_mask, order, ac); return page; }关键参数说明gfp_mask分配标志如GFP_KERNEL内核内存、GFP_USER用户内存order分配阶数0 表示1页4KB10 表示1024页4MB4.2 通过 /proc/buddyinfo 验证伙伴系统状态伙伴系统的运行状态可以通过 proc 文件系统实时观察# 查看伙伴系统状态 cat /proc/buddyinfo # 示例输出 Node 0, zone DMA 1 1 0 1 2 1 1 0 1 1 3 Node 0, zone DMA32 314 252 180 146 89 55 30 15 8 5 380 Node 0, zone Normal 512 256 128 64 32 16 8 4 2 1 1024输出解释每行对应一个内存区域DMA、DMA32、Normal数字表示对应 order0-10的空闲块数量例如 Normal 行的第一个数字 512 表示有512个单页order-0空闲块4.3 内存分配实战测试编写一个内核模块来测试不同 order 的内存分配#include linux/module.h #include linux/kernel.h #include linux/gfp.h static int __init buddy_test_init(void) { struct page *page; int orders[] {0, 5, 9}; // 测试 1页、32页、512页 int i; printk(开始伙伴系统分配测试\n); for (i 0; i ARRAY_SIZE(orders); i) { page alloc_pages(GFP_KERNEL, orders[i]); if (!page) { printk(order-%d 分配失败\n, orders[i]); continue; } printk(order-%d 分配成功物理地址: %llx\n, orders[i], (u64)page_to_phys(page)); // 稍后释放实际项目中需要妥善管理 __free_pages(page, orders[i]); } return 0; } module_init(buddy_test_init); MODULE_LICENSE(GPL);编译加载这个模块可以验证伙伴系统在不同 order 下的分配能力。5. 物理内存管理的常见问题与排查在实际项目中物理内存问题往往表现为分配失败、系统卡顿或直接崩溃。掌握排查方法至关重要。5.1 内存不足OOM问题排查当系统内存严重不足时OOM killer 会被触发。排查步骤查看系统内存状态# 查看内存总体使用情况 free -h cat /proc/meminfo # 查看内存区域水位线 cat /proc/zoneinfo | grep -A5 Node 0分析 OOM 日志# 查看内核日志中的 OOM 信息 dmesg | grep -i out of memory\|killed process # 示例输出 [12345.678] Out of memory: Killed process 1234 (java) total-vm:2048000kB, anon-rss:1024000kB, file-rss:512000kB, UID:1000检查内存泄漏嫌疑进程# 按内存使用排序进程 ps aux --sort-%mem | head -10 # 查看进程详细内存映射 cat /proc/pid/smaps | grep -i pss\|swap5.2 内存碎片化问题内存碎片化会导致大块连续内存分配失败即使总体空闲内存充足。检测方法# 查看碎片化情况 cat /proc/buddyinfo cat /proc/pagetypeinfo # 查看不可移动页面分布 cat /proc/pagetypeinfo | grep Unmovable解决方案定期重启内存敏感服务使用CONFIG_COMPACTION启用内存压缩设置/proc/sys/vm/compact_memory手动触发压缩5.3 性能调优参数通过 sysctl 调整内存管理参数# 降低 swappiness减少交换倾向 echo 10 /proc/sys/vm/swappiness # 调整脏页回写阈值 echo 1500 /proc/sys/vm/dirty_writeback_centisecs # 启用透明大页根据负载评估 echo always /sys/kernel/mm/transparent_hugepage/enabled6. 高级话题与生产环境建议理解了基础机制后还需要关注生产环境中的实际考量。6.1 NUMA 系统优化在 NUMA 系统中错误的内存分配会导致严重的性能下降。优化策略# 查看 NUMA 内存分布 numastat -m # 绑定进程到特定节点 numactl --cpunodebind0 --membind0 ./application # 在代码中指定内存分配策略 // 在特定节点分配内存 page alloc_pages_node(0, GFP_KERNEL, order);6.2 大页内存配置对于需要大量连续内存的应用如数据库可以使用大页提升性能# 查看大页支持 cat /proc/meminfo | grep Huge # 配置大页池示例配置 1024 个 2MB 大页 echo 1024 /proc/sys/vm/nr_hugepages # 挂载大页文件系统 mount -t hugetlbfs hugetlbfs /dev/hugepages6.3 内存热插拔支持在生产环境中可能需要动态调整内存容量# 查看可热插拔内存范围 ls /sys/devices/system/memory/ # 离线内存块谨慎操作 echo offline /sys/devices/system/memory/memoryXXX/state # 在线内存块 echo online /sys/devices/system/memory/memoryXXX/state7. 调试工具与内存分析实战掌握正确的工具能够大幅提升内存问题排查效率。7.1 内核内存调试工具链工具用途使用场景kmemleak检测内核内存泄漏长期运行的内核模块测试slub调试SLUB 分配器调试小内存分配问题page_owner页面分配跟踪定位内存占用源头vmalloc信息查看 vmalloc 分配内核模块内存使用分析启用page_owner进行详细跟踪# 编译时启用 CONFIG_PAGE_OWNER # 运行时开启跟踪 echo 1 /proc/sys/kernel/page_owner # 查看页面分配历史 cat /proc/page_owner page_owner.txt7.2 性能分析工具# 使用 perf 分析内存相关事件 perf record -e page-faults,minor-faults,major-faults -ag perf report # 使用 slabtop 查看 slab 分配情况 slabtop -o # 查看详细内存统计 cat /proc/vmstat | grep -E pgalloc|pgfree|pgfault物理内存管理是 Linux 内核最复杂的子系统之一但也是理解系统工作原理的关键。通过实验环境搭建、源码分析和工具使用可以逐步建立起对内存管理的直观认识。在生产环境中结合监控告警和性能分析能够有效预防和解决内存相关问题。建议从简单的内存分配测试开始逐步深入到 NUMA 优化、大页配置等高级话题在实践中深化理解。