MapReduce Input 本地_INPUT
一、概述
在MapReduce框架中，"本地_INPUT"通常指的是在MapReduce作业开始执行前，输入数据存储在本地的文件系统或目录，这些数据是MapReduce作业的输入源，MapReduce框架会读取这些数据，将其分割成多个小文件，然后分发到各个节点上进行Map操作。
二、组成部分
1、数据格式
本地_INPUT可以是任何格式的数据，如文本文件、二进制文件等。
文本文件通常以行或键值对的形式存储。
2、数据存储
本地_INPUT通常存储在本地文件系统，如HDFS（Hadoop Distributed File System）或本地文件系统（如Linux文件系统）。
3、数据分割
MapReduce框架会将本地_INPUT分割成多个小文件，以便并行处理，分割的大小可以通过配置参数设置。
三、工作流程
1、输入读取
MapReduce框架首先读取本地_INPUT，并将其转换为可处理的格式。
2、分割
根据配置参数，将输入数据分割成多个小文件。
3、分布
将分割后的数据分发到各个节点上，为Map操作做准备。
4、Map操作
在各个节点上，Map任务对分配的数据进行处理，生成键值对输出。
5、Shuffle
Map任务的输出通过Shuffle过程进行排序和分组，为Reduce操作做准备。
6、Reduce操作
Reduce任务对Shuffle后的数据进行处理，生成最终的输出。
四、配置参数
1、InputFormat
定义如何读取和分割输入数据。
2、Mapper
定义Map任务的逻辑。
3、Shuffle
定义Shuffle过程的参数，如排序和分组规则。
4、Reducer
定义Reduce任务的逻辑。
五、示例
假设有一个本地_INPUT文件input.txt如下：
key1 value1
key2 value2
key3 value3
在MapReduce作业中，该文件会被分割成多个小文件，每个小文件包含一行数据，Map任务会将每行数据解析为键值对，然后Reduce任务会根据键进行聚合，生成最终的输出。
key1: value1
key2: value2
key3: value3
六、 本地_INPUT是MapReduce作业的基础，它决定了作业的输入数据，合理配置本地_INPUT和相关参数，可以优化MapReduce作业的性能和效率。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1170671.html
