c 读取大数据txt文件

C语言读取大数据txt文件

在处理大数据文本文件时，C语言提供了多种方式来高效地读取和处理数据，以下是一些常用的方法和示例代码，帮助你在C语言中读取大数据txt文件。

1. 使用标准I/O函数 (fopen,fgets,fscanf)

这是最基础的方法，适用于较小的文件或简单的读取需求。

#include <stdio.h>
#include <stdlib.h>
#define BUFFER_SIZE 1024
int main() {
    FILE file = fopen("large_data.txt", "r");
    if (!file) {
        perror("Failed to open file");
        return EXIT_FAILURE;
    }
    char buffer[BUFFER_SIZE];
    while (fgets(buffer, BUFFER_SIZE, file)) {
        // 处理每一行数据
        printf("%s", buffer);
    }
    fclose(file);
    return 0;
}

使用内存映射文件 (`mmap`)

对于非常大的文件，内存映射文件是一种高效的读取方式，它通过将文件内容直接映射到内存地址空间，避免了多次系统调用和数据拷贝。

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
int main() {
    const char filepath = "large_data.txt";
    int fd = open(filepath, O_RDONLY);
    if (fd == -1) {
        perror("Error opening file");
        return EXIT_FAILURE;
    }
    struct stat fileInfo;
    if (fstat(fd, &fileInfo) == -1) {
        perror("Error getting the file size");
        close(fd);
        return EXIT_FAILURE;
    }
    void mapped = mmap(NULL, fileInfo.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
    if (mapped == MAP_FAILED) {
        perror("Error mapping the file");
        close(fd);
        return EXIT_FAILURE;
    }
    // 处理映射的数据
    printf("%.s", (int)fileInfo.st_size, (char )mapped);
    munmap(mapped, fileInfo.st_size);
    close(fd);
    return 0;
}

使用缓冲区逐块读取

对于超大文件，逐块读取可以有效管理内存使用。

#include <stdio.h>
#include <stdlib.h>
#define CHUNK_SIZE 4096 // 定义每次读取的块大小
int main() {
    FILE file = fopen("large_data.txt", "r");
    if (!file) {
        perror("Failed to open file");
        return EXIT_FAILURE;
    }
    char buffer = malloc(CHUNK_SIZE);
    if (!buffer) {
        perror("Failed to allocate memory");
        fclose(file);
        return EXIT_FAILURE;
    }
    size_t bytesRead;
    while ((bytesRead = fread(buffer, 1, CHUNK_SIZE, file)) > 0) {
        // 处理读取的数据块
        fwrite(buffer, 1, bytesRead, stdout); // 示例：输出到标准输出
    }
    free(buffer);
    fclose(file);
    return 0;
}

FAQs

Q1: 如果文件非常大，使用mmap是否总是比逐块读取更高效？

A1: 不一定，虽然mmap可以减少系统调用和数据拷贝的开销，但它需要足够的连续虚拟内存空间，这在某些情况下可能难以满足，逐块读取则更加灵活，尤其适合流式处理大文件，因为它不需要一次性加载整个文件到内存中，选择哪种方法应根据具体应用场景和系统资源来决定。

Q2: 如何确保在读取大文件时不会耗尽系统内存？

A2: 为了避免内存耗尽，应避免一次性将整个文件加载到内存中，尤其是对于非常大的文件，可以使用逐块读取的方式，每次只读取一部分数据到内存中进行处理，处理完毕后再继续读取下一块，合理设置缓冲区的大小也很重要，过大的缓冲区会占用过多内存，而过小的缓冲区可能导致频繁的I/O操作，影响性能。