mongo数据库 mapreduce 与 group 效率比较

96 阅读 0 评论 64 点赞

我是靠谱客的博主淡淡草莓，最近开发中收集的这篇文章主要介绍mongo数据库 mapreduce 与 group 效率比较，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

参考：

http://www.oecp.cn/hi/yongtree/blog/2001

http://www.360doc.com/content/11/0517/07/2660674_117324396.shtml

http://www.360doc.com/content/11/0906/16/1542811_146231902.shtml

与传统的关系型数据库一样，mongo这个典型的NOSQL也提供了分组查询功能。

那我们今天就来实际探讨测试一下，这个两者的效率之比较

本文的mapreduce 使用的是morphia 层API，

关于mapreduce接口使用可以见demo

http://code.google.com/p/morphia/source/browse/trunk/morphia/src/test/java/com/google/code/morphia/TestMapreduce.java?r=1514&spec=svn1707

测试用例是这样设计的。插入100000次记录，250次为一次循环。

for (int i = 0; i < 100000; i++) {
        
         SyncContactsEntity syncContactsEntity = new SyncContactsEntity();
         syncContactsEntity.setCountname("jhytest" + i / 250);
        
         ds.save(syncContactsEntity);
        
         if (i % 1000 == 0) {
         // System.out.println(Calendar.getInstance().getTime().getTime());
         }
        
}

这样的话，数据库中每个联系人名字都有250个重复的，这样方便我们进行group测试。

这里直接贴出mapreduce的测试代码

System.out.println(Calendar.getInstance().getTime().getTime());
String map = "function () {emit(this.countname, {count:1}); }";
String reduce = "function (key, values) { var total = 0; for ( var i=0; i<values.length; i++ ) {total += values[i].count;} return { count : total }; }";
MapreduceResults<ResultEntity> mrRes = ds.mapReduce(
				MapreduceType.REPLACE,
				ds.createQuery(SyncContactsEntity.class), map, reduce, null,
				null, ResultEntity.class);

System.out.println(Calendar.getInstance().getTime().getTime());

查询时间打印为：

查询前:1356187367375
查询后:1356187376281 大概花了9秒钟

我们再来看看 mongodb 的group函数

 DBCollection userSColl = mongo.getDB("new_hotel").getCollection("contsentity");
		
 BasicDBObject key = new BasicDBObject("countname", true);
 BasicDBObject initial = new BasicDBObject("cou", 0);
 String reduce = "function(obj,pre){pre.cou++}";
 System.out.println(Calendar.getInstance().getTime().getTime());
 BasicDBList returnList = (BasicDBList) userSColl.group(key, null,initial, reduce);
 System.out.println(Calendar.getInstance().getTime().getTime());

查询前:1356187815390
查询后:1356187817390 大概花了2秒钟

当然了本案是在单节点的mongodb上进行的测试，group的效率明显很高。

但是需要提出两点注意点，大家在开发的时候注意：

1、网上文章说不要用 group 是因为他返回的list内存值,在查询结果条数大 10,000 keys 的情况下会爆出异常。

出处:http://api.mongodb.org/wiki/current/Aggregation.html#Aggregation-Group

而 mapreduce的查询结果是生成一张表，所以返回是fetch 一段一段加载的，不存在这样的问题。

2、group不适合在多点分片的mongodb部署中使用，这个需要注意。

关于这个问题可能后续继续讨论一下。