HDFS写流程中Pipeline（管道）机制如何工作

请回答：HDFS写流程中Pipeline（管道）机制如何工作

这道题在大数据面试中属于深度追问题，通常是聊完HDFS写流程后面试官紧接着追问的。面试官不想听你再复述一遍"客户端发数据给DN1，DN1转发给DN2，DN2转发给DN3"，他想知道的是：Pipeline为什么这么设计？和客户端直接发3份相比到底好在哪？Pipeline搭建的过程中TCP连接是怎么建的？数据在Pipeline里是等前一个DN写完再转发，还是边收边转？Pipeline中间断了怎么恢复？ 大部分人能画出Pipeline的形状，但一追问流水线并行的细节、ACK的反压机制、故障恢复时Generation Stamp的作用就说不清了。