人在年轻的时候一定要奋斗吗？
在年轻的时候为什么要奋斗？可能你有很多答案，为了梦想，为了金钱，为了父母...奋斗的意义到底是什么？,这支靠谱充满斗志的团队正在招贤纳士,注明来自馒头，会得到优先回复和考虑哦,运营｜市场｜研发｜客服 等,欢迎对在线教育感兴趣和有经验的伙伴,想更多交流扫下方微信二维码,点击图片或文末“阅读原文”，即可直接报名哦
阅读全文
不同的瑞士军刀：对比 Spark 和 MapReduce
pache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API，一些人认为这或许预示着 Hadoop MapReduce 的终结。,作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢？秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访
阅读全文
Python 中的高级数据结构
据结构,数据结构的概念很好理解，就是用来将数据组织在一起的结构。换句话说，数据结构是用来存储一系列关联数据的东西。在Python中有四种内建的数据结构，分别是List、Tuple、Dictionary以及Set。大部分的应用程序不需要其他类型的数据结构，但若是真需要也有很多高级数据结构可供选择，例如Collection、Array、Heapq、Bisect、Weakref、Copy以及Pprint
阅读全文
基于 Django 与 Celery 实现异步队列任务
运营系统中经常用到异步方式来处理我们的任务，比如将业务上线流程串成任务再写入队列，通过后台作业节点去调度执行。比较典型的案例为腾讯的蓝鲸、织云、云智慧等平台。本译文结合Django+Celery+Redis实现一个定期从Flickr 获取图片并展示的简单案例，方便大家理解实现异步对列任务的过程。,刚接触django的时候，我经历过的最让人沮丧的事情是需要定期运行一段代码。我写了一个需要每天上午12
阅读全文
Python 爬虫代理池
公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。,1、问题,代理IP从何而来？,刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代
阅读全文
HTTP 长连接和短连接
. HTTP协议与TCP/IP协议的关系,HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议，在传输层使用TCP协议，在网络层使用IP协议。IP协议主要解决网络路由和寻址问题，TCP协议主要解决如何在IP层之上可靠的传递数据包，使在网络上的另一端收到发端发出的所有包，并且顺序与发出顺序一致。TCP有可靠，面向连接的特点。,2. 如何理解HTTP协议是无状态的,HTTP协议
阅读全文
分布式任务队列 Celery 的介绍
程序运行过程中，要执行一个很久的任务，但是我们又不想主程序被阻塞，常见的方法是多线程。可是当并发量过大时，多线程也会扛不住，必须要用线程池来限制并发个数，而且多线程对共享资源的使用也是很麻烦的事情。还有就是前面几篇介绍过的协程，但是协程毕竟还是在同一线程内执行的，如果一个任务本身就要执行很长时间，而不是因为等待IO被挂起，那其他协程照样无法得到运行。本文要介绍一个强大的分布式任务队列Celery，
阅读全文
Linux 终端生存之道：Linux 技术热文汇总
：以下文章，点击标题即可阅读,Linux社区好几个重要的日子，每年都得纪念一番，比如说Linux内核的生日——1991年8月25日，比如说Linus Torvalds的生日——1969年12月28日。,Linus Torvalds 在内核邮件列表上宣布正式释出 Linux Kernel 4.9，4.10合并窗口开启。为期两周的合并窗口预计将在圣诞节这天关闭，Linus表示因为假期的原因他考虑缩短或
阅读全文