numa linux linux版软件网站

浅解Linux内核中NUMA机制(图例解析)

传统的SMP（对称多处理器）系统中，CPU数目增加会导致系统总线瓶颈问题，限制可扩展性。NUMA技术通过结合SMP系统的易编程性和MPP（大规模并行）系统的易扩展性，有效解决了SMP系统的可扩展性问题，成为高性能服务器主流架构。基于NUMA架构的服务器如HP Superdome、IBM x440等。

NUMA系统由多个结点通过高速互连网络组成，每个结点包含一组CPU和本地内存。全系统内存分布于各个结点，不同结点间访问延迟不同。操作系统需感知硬件拓扑结构，优化访问策略。IA64 Linux中NUMA架构的物理拓扑描述通过ACPI实现。

Linux中使用Node、Zone和页三级结构描述物理内存。Node通过struct pg_data_t结构表示，每个结点维护在pgdat_list列表中。Zone表示内存的一段区域，用于跟踪页框使用、空闲区域和锁等信息。当内存压力大时，kswapd被唤醒进行页交换。每个zone有三个阈值，用于跟踪内存压力，指导kswapd工作。

NUMA调度器将进程分配至本地内存附近的处理器，优化性能。Linux 2.4内核调度器扩展至2.5时，加入多队列调度器O(1)，并开发结点亲和的NUMA调度器。初始负载平衡在任务创建时进行，动态负载平衡在各结点内实现。CpuMemSets技术允许应用与CPU和内存绑定，充分发挥NUMA系统本地访存优势。

SGI Origin 3000 ccNUMA系统实现CpuMemSets，优化性能。Linux NUMA项目实现类似功能，适用于SGI Altix 3000服务器。cpumemmap和cpumemset结构提供应用CPU和内存亲和关系映射，内核在指定CPU调度任务，并分配指定结点内存。硬分区与软分区技术相比，软分区允许更灵活的CPU和内存控制。

测试验证Linux NUMA系统的性能和效率。在SGI Altix 350系统中，通过Presta MPI测试包和NASA的NPB测试，结果显示系统具有高访存和计算性能。更多Linux内核源码高阶知识，可通过开发交流Q群【318652197】获取，群内提供免费技术分享和资源。加入前100名，额外赠送价值699的内核资料包。

Linux内核:内存——NUMA架构的优缺点

Linux内核中的NUMA架构，即非统一内存访问架构，将一台计算机划分为多个节点，每个节点包含多个CPU，并共享内存控制器。节点内部内存访问速度较快，不同节点间通过互联模块进行通信，导致CPU访问内存的速度受节点距离影响，即Node Distance。可以通过命令行工具如numactl来查看和管理NUMA配置。

默认的内存分配策略可能导致内存不均衡，当一个节点内存不足时，Linux倾向于使用本地内存不足部分的swap空间，而非其他节点，这被称为swap insanity。对于像MySQL这样的单进程多线程数据库，如果配置不当，可能导致性能问题。解决办法是关闭NUMA，可以通过BIOS设置或修改启动参数来实现。

在选择IO调度器时，应根据工作负载调整。例如，在随机访问或SSD设备上，可能选择deadline调度器以保证性能。系统参数如swappiness控制内存与swap的交换策略，对于数据库服务器，可降低swappiness以提高内存使用率。

理解并管理好NUMA架构，可以优化系统性能，避免不必要的内存交换，对于高性能计算或数据库应用尤为重要。如有兴趣深入学习，可以加入DataBases的Linux内核技术交流群获取更多资源。

不了解NUMA,就看不懂Linux内核

深入理解Linux内核中的NUMA架构：内存访问新维度的探索

理解Linux内核的内存管理，离不开对NUMA架构的深入研究。本文旨在揭开NUMA与传统SMP架构的区别，以及为什么深入理解NUMA架构是解读Linux内核记忆管理的关键。

首先，让我们回顾一下SMP架构。在SMP（Symmetric Multi-Processor）架构中，系统仅拥有一组内存节点，所有CPU通过共享总线访问这组内存。然而，随着多核处理器的广泛使用，SMP架构的内存访问瓶颈日益明显，尤其是在高并发环境下，多个核心同时访问内存会导致性能受限。这时，NUMA（Non-Uniform Memory Access）架构应运而生。

在NUMA架构下，每个CPU都有其直接访问的本地内存节点，当本地内存不足时，可以访问其他节点的内存。这种设计极大地改善了多核处理器系统的性能，尤其是对于需要频繁访问内存的密集型应用。通过本地内存优先访问，NUMA架构显著降低了内存访问延迟，提高了系统的整体性能。

了解了NUMA与SMP架构的对比，我们再回到Linux内核的场景。Linux内核的内存模块是基于NUMA架构设计的，这意味着其内存管理策略、调度算法等都围绕着NUMA特性进行了优化。理解NUMA架构对于深入研究Linux内核的内存管理、调度算法、进程间通信等方面具有重要意义。

在Linux内核中，每个NUMA节点通过`pglist_data`结构体进行描述，而SMP架构则被视为只有一个节点的特殊情形。在内存分区方面，Linux内核将内存划分成多个zone，包括`ZONE_DMA`、`ZONE_DMA32`、`ZONE_NORMAL`等，以兼容不同硬件的DMA（Direct Memory Access）功能以及内存大小的限制。这些zone的划分有助于内存管理的灵活性和效率。

DMA机制允许内存数据在不经过CPU的情况下进行读写，提高了数据传输的性能。`ZONE_DMA`和`ZONE_DMA32`分别对应于不同硬件支持的DMA范围，而`ZONE_NORMAL`则覆盖了其余内存区域。在64位Linux内核中，根据内存大小和硬件特性，zone的划分会有所不同。

在实际应用中，操作系统通过主板提供的e820功能来获取内存信息，以支持内存管理和分配。然而，在NUMA架构下，e820提供的信息不够详细，不足以支持Linux内核对NUMA特性的支持。因此，系统还需要通过ACPI（Advanced Configuration and Power Interface）接口来获取更精确的NUMA配置信息，以实现内存的高效分配和调度。

总结起来，深入理解NUMA架构对于掌握Linux内核的内存管理机制至关重要。它不仅影响着内存的分配、调度，还与进程间通信、性能优化等多方面紧密相关。随着现代处理器架构的复杂性增加，对NUMA架构的理解和应用变得愈发重要。掌握这些知识，将有助于更高效地利用多核处理器资源，优化系统性能。

通过本文的介绍，我们不仅深入探讨了NUMA架构与SMP架构的区别，还详细阐述了Linux内核中如何利用NUMA特性进行内存管理。希望这篇文章能为读者提供一个全面、直观的视角，帮助大家更好地理解Linux内核的内存管理机制。在当今快速发展的技术环境中，掌握这些基础知识，将有助于你更自信地探索操作系统内核的奥秘，进而深入研究并解决实际问题。