Python语言特点
本文介绍Python的执行过程，强类型与弱类型，动态语言与静态语言等区别。
阅读全文
MapReduce初探
MapReduce初识 MapReduce 是一种编程模型，用于处理大规模的数据。用户主要通过指定一个 map 函数和一个 reduce 函数来完成数据的处理。看到 map/reduce 很容易就联想到函数式编程，而实际上论文中也提到确实受到 Lisp 和其它函数式编程语言的启发。MapReduce的灵感来源于函数式语言（比如Lisp）中的内置函数map和reduce。函数式语言也算是阳春白
阅读全文
Python装饰器学习（二）
##类方法的装饰 注意类方法的装饰和普通函数不同，方法还有第一个参数self，即类实例。 下面是一个例子，比较好理解。我这个装饰器主要是把scrapy爬取的类变成Python字典，存储到数据库中。 def decorator(method): def to_dict(decorated_instance, item): result =
阅读全文
python logging模块的学习
logging模块 首先介绍logging模块中几个重要的角色： ###一、对象介绍 1. logger:主要提供日志接口，我们可以通过logging.getLogger(name）获得logger对象，如果不指定name，则返回root对象。 2. handlers:将日志记录输出到制定的目的地，如文件，标准输出，socket。一个logger可以通过addHandler
阅读全文
scrapy使用介绍
#####1、scrapy介绍 #####2、scrapy的安装 #####3.scrapy模块 #####4、scrapy爬虫实例 ##1、scrapy介绍 Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～ Scrapy 使用 Twisted
阅读全文
Python3和Python2的对比
说来惭愧，Python3问世这么久，也没有认真学习一下，一直认为Python2够用了，而且很多的第三方库还是要求Python2版本的，兼容性还是很重要的考虑因素。但话是这么说，IT的人终究要顺应时代的发展的，不断学习新知识。 废话不多说，开始Python3的学习，主要是和Python2进行对比。 ##1、编码 首先说下为什么要编码。由于计算机只能处理数字，也就是说想要
阅读全文
记录python中遇到的一个问题
在使用virtualenv环境下，利用pip install -r requirements.txt时遇到了一个问题： TraceBack: Failed building with SQLALchemy. 在stackoverflow中查答案，有人建议将wheel升级为0.25.0，但我发现我之前的就是0.25.0。后来索性搜了一下百度（一般技术性的东西很少上百度
阅读全文