MapReduce初探

MapReduce初识 MapReduce 是一种编程模型,用于处理大规模的数据。用户主要通过指定一个 map 函数和一个 reduce 函数来完成数据的处理。看到 map/reduce 很容易就联想到函数式编程,而实际上论文中也提到确实受到 Lisp 和其它函数式编程语言的启发。MapReduce的灵感来源于函数式语言(比如Lisp)中的内置函数map和reduce。函数式语言也算是阳春白

阅读全文

Python装饰器学习(二)

##类方法的装饰 注意类方法的装饰和普通函数不同,方法还有第一个参数self,即类实例。 下面是一个例子,比较好理解。我这个装饰器主要是把scrapy爬取的类变成Python字典,存储到数据库中。 def decorator(method): def to_dict(decorated_instance, item): result =

阅读全文

python logging模块的学习

logging模块 首先介绍logging模块中几个重要的角色: ###一、对象介绍 1. logger:主要提供日志接口,我们可以通过logging.getLogger(name)获得logger对象,如果不指定name,则返回root对象。 2. handlers:将日志记录输出到制定的目的地,如文件,标准输出,socket。一个logger可以通过addHandler

阅读全文

request.get_all_path()

登录

Sign Up

Forgotten Password