[大牛翻译系列]Hadoop(4)MapReduce 连接:选择最佳连接策略

2022-12-24,,,,

4.1.4 为你的数据选择最佳连接策略

已介绍的每个连接策略都有不同的优点和缺点。那么,怎么来判断哪个最适合待处理的数据?

图4.11给出了一个决策树。这个决策树是于论文《A Comparison of Join Algorithms》中提到的一个决策树的改进版本。

图4.11中的决策树可以归纳为以下三点:

如果数据集中有一个足够小到可以放到map的内存中,那么map端的复制连接就足够了。
如果每个数据集都很大,同时其中一个数据集可以在经过一定条件过滤以后大幅度地减小,那么半连接将会很有效。
如果你无法预处理你的数据,并且数据集大到不能够被缓存,那么就需要在reduce中使用重分区连接了。

由于MapReduce将map的输出键排序并关联到一起,这让在reduce端执行连接成为了可能。在下一个部分中,将介绍MapReduce的一般排序技术。

[大牛翻译系列]Hadoop(4)MapReduce 连接:选择最佳连接策略的相关教程结束。

《[大牛翻译系列]Hadoop(4)MapReduce 连接:选择最佳连接策略.doc》

下载本文的Word格式文档,以方便收藏与打印。