一、numa node簡介

NUMA（Non-Uniform Memory Access，非一致性內(nèi)存訪問）是多處理器系統(tǒng)中常用的一種體系結(jié)構(gòu)，它的特點(diǎn)是有多個(gè)處理器和多個(gè)內(nèi)存區(qū)域，不同的處理器能夠訪問不同的內(nèi)存。在NUMA架構(gòu)中，每個(gè)CPU節(jié)點(diǎn)由一個(gè)或多個(gè)CPU和一個(gè)內(nèi)存子系統(tǒng)組成，這個(gè)內(nèi)存子系統(tǒng)僅能被節(jié)點(diǎn)上的CPU訪問。一個(gè)節(jié)點(diǎn)可能包含多個(gè)內(nèi)存子系統(tǒng)。

NUMA節(jié)點(diǎn)是一組物理內(nèi)存、CPU和其他設(shè)備的組合，它們通常由一個(gè)或多個(gè)處理器和它們要訪問的內(nèi)存單元組成。因?yàn)椴煌奶幚砥骱诵目梢栽L問不同的內(nèi)存，所以在NUMA系統(tǒng)中，一些處理器核心的運(yùn)行速度可能會(huì)比其他的處理器核心慢得多。

二、NUMA的優(yōu)缺點(diǎn)

NUMA架構(gòu)的主要優(yōu)點(diǎn)在于它提供了更大的可擴(kuò)展性和更快的內(nèi)存訪問速度。在一個(gè)傳統(tǒng)的對(duì)稱多處理（SMP）系統(tǒng)中，所有處理器都共享一個(gè)總線連接到主內(nèi)存，而在NUMA系統(tǒng)中，每個(gè)節(jié)點(diǎn)都可以訪問固定大小的物理內(nèi)存。這使得NUMA系統(tǒng)的可擴(kuò)展性更高，因?yàn)槊總€(gè)節(jié)點(diǎn)可以獨(dú)立地訪問和擴(kuò)展自己的內(nèi)存。

另一個(gè)優(yōu)點(diǎn)是更快的內(nèi)存訪問速度。在NUMA系統(tǒng)中，每個(gè)內(nèi)存子系統(tǒng)只服務(wù)于其本地節(jié)點(diǎn)上的處理器，這意味著當(dāng)一個(gè)處理器需要訪問本地內(nèi)存時(shí)，它不需要經(jīng)過總線進(jìn)行協(xié)調(diào)，并且可以直接從內(nèi)存子系統(tǒng)中獲取數(shù)據(jù)，這樣可以有效減少內(nèi)存訪問的延遲。

缺點(diǎn)在于復(fù)雜性。由于具有分布式和非均勻的性質(zhì)，NUMA設(shè)計(jì)和實(shí)現(xiàn)更加復(fù)雜，因?yàn)樗枰谔幚砥骱蛢?nèi)存之間進(jìn)行更多的協(xié)調(diào)。對(duì)于NUMA應(yīng)用程序來說，要充分利用多個(gè)節(jié)點(diǎn)，就需要進(jìn)行一些額外的編程工作，這對(duì)于不熟悉NUMA架構(gòu)的開發(fā)人員來說可能會(huì)比較困難。

三、如何在Linux系統(tǒng)中使用NUMA

為了在Linux系統(tǒng)中使用NUMA，需要先了解系統(tǒng)中NUMA節(jié)點(diǎn)的狀況，可以使用numactl命令來查看。以下是一個(gè)示例：

$ numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1
node 0 size: 512 MB
node 0 free: 325 MB
node 1 cpus: 2 3
node 1 size: 1024 MB
node 1 free: 512 MB

在這個(gè)輸出中，可以看到該系統(tǒng)有兩個(gè)NUMA節(jié)點(diǎn)（節(jié)點(diǎn)0和節(jié)點(diǎn)1），每個(gè)節(jié)點(diǎn)都有自己的CPU和內(nèi)存。節(jié)點(diǎn)0中有兩個(gè)CPU和512MB內(nèi)存，節(jié)點(diǎn)1中有兩個(gè)CPU和1GB內(nèi)存。情況可能會(huì)因?yàn)椴煌南到y(tǒng)而異，但是numactl命令可以作為了解NUMA配置的好工具。

在Linux中，可以使用Numa API來處理程序的內(nèi)存分配和線程綁定。下面的代碼示例使用Numa API來將線程分配到本地節(jié)點(diǎn)上：

#include 
#include 

void *thread_func(void *arg) {
    int node_id = *((int *) arg);
    /* 獲取可用的節(jié)點(diǎn)列表 */
    struct bitmask *bm = numa_allocate_cpumask();
    numa_bitmask_setbit(bm, node_id);
    numa_bind(bm);
    numa_free_cpumask(bm);
    /* 之后可以進(jìn)行自己的線程操作 */
}

int main() {
    int num_threads = 4;
    pthread_t *threads = malloc(sizeof(pthread_t) * num_threads);
    int *node_ids = malloc(sizeof(int) * num_threads);
    /* 獲取可用的節(jié)點(diǎn)列表 */
    struct bitmask *bm = numa_get_available_nodes();
    for (int i = 0; i < num_threads; i++) {
        /* 選擇一個(gè)節(jié)點(diǎn) */
        int node_id = numa_bitmask_next(bm, -1);
        node_ids[i] = node_id;
        numa_bitmask_clearall(bm);
        numa_bitmask_setbit(bm, node_id);
        pthread_create(&(threads[i]), NULL, thread_func, &(node_ids[i]));
    }
    for (int i = 0; i < num_threads; i++) {
        pthread_join(threads[i], NULL);
    }
    free(threads);
    free(node_ids);
}

四、NUMA的應(yīng)用場景

NUMA架構(gòu)主要用于處理大型計(jì)算任務(wù)，特別是需要大量內(nèi)存和分布式異構(gòu)計(jì)算的任務(wù)。例如在科學(xué)計(jì)算和仿真中，數(shù)據(jù)通常比較大，需要在多個(gè)節(jié)點(diǎn)之間共享和傳輸。因此，NUMA架構(gòu)在高性能計(jì)算領(lǐng)域非常受歡迎。

在開發(fā)NUMA應(yīng)用程序時(shí)，應(yīng)該遵循以下幾個(gè)準(zhǔn)則：

五、總結(jié)

NUMA架構(gòu)提供了高可擴(kuò)展性和快速內(nèi)存訪問的優(yōu)點(diǎn)，但也帶來了更大的復(fù)雜性和難以理解的挑戰(zhàn)。對(duì)于開發(fā)應(yīng)用程序來說，要正確地利用NUMA的優(yōu)勢，需要深刻理解NUMA的內(nèi)部工作原理，以及如何在應(yīng)用程序中顯式地處理內(nèi)存和線程綁定。