InputFormat、InputSplit、RecordReader 和 Mapper 是什么关系
这道题考什么
这是 MapReduce 输入端最容易“每个词都认识,连起来就说不清”的题。很多人只会背:一个 InputSplit 对应一个 Mapper,却解释不了 InputFormat 为什么既负责切片又负责创建 RecordReader、Split 为什么不保存数据、RecordReader 如何处理跨 Split 的半行,以及 Mapper 到底是一份切片调用一次还是一条记录调用一次。面试官真正想听的是一条完整责任链。
一句话回答
InputFormat 负责规划输入并生成 InputSplit,同时为每个 Split 创建 RecordReader;InputSplit 只描述某个 Map Task 要处理的数据范围;RecordReader 把字节范围解析成一条条 Key-Value;框架再对每条 Key-Value 调用 Mapper 的 map()。通常一个 InputSplit 对应一个 Map Task,而不是一条记录对应一个 Mapper。