Linux mmap实现详解

什么是mmap

mmap（memory mapping，内存映射）是Linux系统中一种高效的文件访问机制，它通过将文件直接映射到进程的地址空间，使得应用程序可以像访问内存一样访问文件数据。

mmap的基本原理

mmap的核心思想是将文件或设备映射到进程的虚拟地址空间，实现文件与内存的直接关联：

1. 映射建立：当调用mmap时，内核在进程的虚拟地址空间中创建映射关系
2. 按需加载：实际数据并不立即加载到物理内存，而是当进程访问相应内存区域时触发缺页异常
3. 页面缓存：内核使用页面缓存(page cache)来管理文件数据的内存副本
4. 同步机制：修改后的数据可以自动或手动同步回文件

mmap系统调用

#include <sys/mman.h>

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

参数说明： - addr：建议的映射起始地址（通常设为NULL由内核决定） - length：映射区域的长度 - prot：保护模式（PROT_READ/PROT_WRITE/PROT_EXEC/PROT_NONE） - flags：映射类型（MAP_SHARED/MAP_PRIVATE等） - fd：文件描述符 - offset：文件偏移量（必须是页面大小的整数倍）

mmap的优势

1. 高效I/O：避免了用户空间和内核空间之间的数据拷贝
2. 随机访问：可以像操作内存一样随机访问文件任意位置
3. 共享内存：多个进程可以映射同一个文件实现进程间通信
4. 延迟加载：只有实际访问的页面才会被加载到内存
5. 大文件处理：可以处理超过物理内存大小的文件

mmap的典型使用场景

1. 文件I/O优化：替代read/write系统调用
2. 进程间通信：通过共享映射实现
3. 动态链接库加载：Linux加载.so文件的方式
4. 内存数据库：如Redis的持久化机制
5. 零拷贝技术：网络编程中的高性能数据处理

mmap实现细节

内核数据结构

1. vm_area_struct：描述进程的虚拟内存区域
2. address_space：管理文件页与内存页的映射关系
3. page cache：缓存文件数据的内存页

工作流程

1. 映射建立阶段：

   • 检查参数有效性
   • 创建vm_area_struct结构
   • 建立文件与内存的映射关系

2. 页面访问阶段：

   • 发生缺页异常(page fault)
   • 内核检查vm_area_struct
   • 从文件读取数据到page cache
   • 建立页表映射

3. 同步与释放阶段：

   • msync同步修改到文件
   • munmap解除映射关系

性能考虑

1. 页面大小影响：通常为4KB，大页(2MB/1GB)可减少TLB miss
2. 预读策略：内核会预读后续数据提升顺序访问性能
3. 缓存命中率：频繁访问的数据应保持在page cache中
4. TLB效率：过大映射区域可能导致TLB压力

示例代码

#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int main() {
    int fd = open("example.txt", O_RDWR);
    if (fd == -1) {
        perror("open");
        exit(EXIT_FAILURE);
    }

    struct stat sb;
    if (fstat(fd, &sb) == -1) {
        perror("fstat");
        exit(EXIT_FAILURE);
    }

    void *addr = mmap(NULL, sb.st_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (addr == MAP_FAILED) {
        perror("mmap");
        exit(EXIT_FAILURE);
    }

    // 现在可以通过addr指针访问文件内容
    printf("File content: %s\n", (char *)addr);

    // 修改文件内容
    sprintf((char *)addr, "New content");

    // 同步到文件
    if (msync(addr, sb.st_size, MS_SYNC) == -1) {
        perror("msync");
    }

    munmap(addr, sb.st_size);
    close(fd);
    return 0;
}

注意事项

1. 对齐要求：offset必须是页面大小的整数倍
2. 资源释放：记得调用munmap和close
3. 错误处理：检查MAP_FAILED返回值
4. 同步时机：MAP_SHARED修改不会立即写回文件
5. 内存不足：大文件映射可能导致内存压力

高级用法

1. 匿名映射：不关联文件，用于进程间共享内存

   void *addr = mmap(NULL, length, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
   

2. 固定映射：MAP_FIXED指定确切地址（危险操作）

3. 大页支持：通过MAP_HUGETLB使用大页面

4. 非阻塞映射：MAP_POPULATE预先填充页表

mmap是Linux系统中非常强大的内存管理工具，合理使用可以显著提升I/O性能，但也需要开发者充分理解其工作原理和限制。