问题引入
上一小节简单介绍了单个页面的爬取，涉及到请求和解析两个模块，其中请求使用urllib，解析使用BeautifulSoup，爬取了链家的单个页面，处理了我们想要的页面元素，输出到控制台。我们通过浏览器上网打开页面，来源有两种，一种是已知的地址，如，另一种是通过前面爬下来的页面中获取入口，如a标签中的href属性值。通过爬虫自动化获取浏览器可以获取的数据，要模拟浏览器的行为，获取更多入口，然后处理需要处理的网页。
这里提出几个问题，欢迎大家提供更好的解决方案。
对单页的小区信息进行了爬取，可以参考示例代码，用在售楼盘和成交记录的信息做一个小案例。对请求和处理网页，有没有更好的方法？
的结果输出到了控制台，后续的存储模块应该如何组织？如何结合多线程或多进程爬取？
思路介绍
前面提到，不管是小区信息、在售楼盘信息还是成交记录信息，总的页面都超过100页，所以要通过曲线救国的方式，先爬小区信息，再循环遍历每个小区的在售楼盘和成交记录。而在爬取小区信息过程中，也是循环遍历行政区(县)，模拟浏览器点击翻页，获取更多入口，然后解析获取的入口，继续弱化存储模块，输出到控制台。
获取更多入口的代码示例
def xiaoqu_batch_crawl(db_xiaoqu=None, region=u'天河'): try: # 天河utf-8: %E5%A4%A9%E6%B2%B3 url_region = u'http://gz.lianjia.com/xiaoqu/rs' + region + '/' req = urllib2.Request(url_region, headers=HDS[random.randint(0, len(HDS) - 1)]) source_code = urllib2.urlopen(req, timeout=10).read() plain_text = source_code.decode('utf-8') soup = BeautifulSoup(plain_text, 'html.parser') except (urllib2.HTTPError, urllib2.URLError), e: print e return except Exception, e: print e return page_data = 'page_data = ' + soup.find('div', attrs={ 'class': 'page-box house-lst-page-box'}).get('page-data') exec (page_data) total_pages = page_data['totalPage'] threads = [] for page in range(total_pages): url_page = u'http://gz.lianjia.com/xiaoqu/pg%drs%s' % (page + 1, region) t = threading.Thread(target=xiaoqu_crawl, args=(db_xiaoqu, url_page)) threads.append(t) for t in threads: t.start() for t in threads: t.join() print u'爬下了%s区全部的小区信息' % (region)if __name__ == '__main__': xiaoqu_batch_crawl(db_xiaoqu=None, region=u'%E5%A4%A9%E6%B2%B3')复制代码 待解决问题
在控制台窗口调用程序，如果region参数用region=u'天河'，报错'ascii' codec can't encode characters in position 14-15: ordinal not in range(128)，编码问题是Python届的大坑，加入如下设定编码的惯例解决。
import sysreload(sys)sys.setdefaultencoding("utf-8")复制代码 然而问题来了，Why reload(sys)？
Google say: reload(sys) is evil
您可能还想看
Hadoop/CDH
微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。
转载请注明：转载自微信公众号「数据分析」
读者交流电报群:
https://t.me/sspadluo