目录:
定义-作业链接是什么意思?
作业链接是MapReduce中的一个术语,是指在同一MapReduce任务中启动多个步骤。 使用作业链,第一个作业将输出发送到一个作业,然后将输出发送到链中的下一个作业,依此类推,直到完成该作业。 这是对MapReduce作业进行流水线化的一种形式,以使其更易于管理。
技术百科解释了工作链
MapReduce中的作业链接是指在一个MapReduce作业中运行多个任务。
例如,工作链可能包括:
Map1> Reduce1> Map2> Reduce2
作业链接的优势在于,它消除了管道中所有步骤之间对中间数据的需求。 从这个意义上讲,作业链接类似于Unix Shell中的输入/输出重定向。 链中一个链接的输出流到链中下一个作业的输入。 MapReduce允许开发人员指定依赖项,或者必须通过使用addDependingJob()方法调用来处理链中的下一个作业之前必须完成哪些作业。
这使开发人员更容易编写可处理大量数据的MapReduce程序。