MapReduce初探

MapReduce初识 MapReduce 是一种编程模型,用于处理大规模的数据。用户主要通过指定一个 map 函数和一个 reduce 函数来完成数据的处理。看到 map/reduce 很容易就联想到函数式编程,而实际上论文中也提到确实受到 Lisp 和其它函数式编程语言的启发。MapReduce的灵感来源于函数式语言(比如Lisp)中的内置函数map和reduce。函数式语言也算是阳春白

阅读全文

Python装饰器学习(二)

##类方法的装饰 注意类方法的装饰和普通函数不同,方法还有第一个参数self,即类实例。 下面是一个例子,比较好理解。我这个装饰器主要是把scrapy爬取的类变成Python字典,存储到数据库中。 def decorator(method): def to_dict(decorated_instance, item): result =

阅读全文

登录

Sign Up

Forgotten Password