如何理解 if __name__ == "__main__"

很多初学 Python 的同学看到 if __name__ == "__main__" 这段代码都会有疑惑,这段代码是做什么的?似乎没有这段代码程序也可以正常运行。本文我们就来深入理解一下 if __name__ == "__main__" 到底是什么?

阅读全文 »

从豆瓣的反爬说说自建代理池

爬过豆瓣的同学应该都有过这样的经历,一开始爬取的过程挺正常的,但爬着爬着就不能获取到数据了。这是因为豆瓣对IP作了限制,如果短时间内来自同一个IP的请求太多,就会禁止来自这个IP的访问,我们的爬虫也就无法继续获取到数据了。

阅读全文 »

破解点评网的反爬

点评网上爬取信息会发现很多数据都做了特殊处理,比如像评分、人均这些数据,直接爬网页是爬不到这些数据的。其实这是点评网设置的反爬,本文我们来讲解一下怎样破解点评的破解。

阅读全文 »