Python Spider: 超星图书爬取转换

Published on Apr 04, 2015

超星数字图书馆(北邮镜像): 在线阅读书籍爬取转换(selenium)

我忧心忡忡地看待未来，但仍满怀美好的希望。

-–— Albert Schweitzer

这次推荐selenium，自从有了selenium，爬虫从来没有这么简单过。

几天前，一个工作的同学想让我帮他借一本书《聚酰亚胺新型材料》，他工作上需要看这本书的一些内容，但是这本书已经绝版，网上也没有出售。

于是我帮他搜索了下，图书馆里没有这本书。忽然想起来我邮还买了很多电子资源。

于是从图书馆主页选择=电子图书=->=超星数字电子图书数据=，进入如下页面。

chaoxing.png

搜索了下这本书，找到了一本。

chaoxing1.png

太棒了，下载下来……额……下载需要阅读器……

chaoxing2.png

对一个伪geek最讨厌的事情之一就是，某个牛比的企业倚杖其资源绑架用户安装所谓的客户端。比如讨厌的腾讯和讨厌的淘宝。

自然也不会下载什么阅读器，但是，既然可以在线看，那么就可以下载下来。实在在不行我浏览器截图行么。

selenium让一切成为可能(包括截图)。

让我们在线阅读：

chaoxing3.png

在线阅读提供了一些功能，包括索引、目录和文字提取，悲剧的是下载下来之后转成的pdf可没有这么多道道。虽然，如果肯花时间解决这些都不是问题……但是，我们又不是想pirate电子书……

对页面按右键发现这是个图片！接着观察对应的源码发现，是一个input标签，仔细观察这个input标签你可以看到很多属性，比如比较重要的class、scr、src、jpgname。

仔细多观察一个，你会发现，class是Jimg的似乎都是书页内容、jpgname属性是页码、scr和src好像都是书页图片地址。

chaoxing4.png

你可以试试。说服自己那些就是书页图片地址

chaoxing6.png

多看几个发现下面的页面其实src属性都是假的，猜测是书页滚动到某个页面，通过js动态修改src来实现实时加载而不是一下全加载。

chaoxing5.png

那么，我们抓取当前网页阅读页面所有class属性是=Jimg=的input标签的=scr=标签，就可以获取所有书页的图像了。

接下来，看看selenium是多么丧心病狂……

我们把以上所有从搜索到在线阅读的过程自动化……

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
import time
import os
import imghdr
import urllib
import urllib2
from selenium import webdriver

# bookname = u'聚酰亚胺新型材料'
try:
    bookname = unicode(sys.argv[1], 'utf-8')
except:
    print "[Usage:] chaoxing.py bookname"
    sys.exit(1)
driver = webdriver.Firefox()

# 首先搜索

url = 'http://sslibbook2.sslibrary.com'

driver.get(url)
time.sleep(1)

# 输入书名
driver.find_element_by_id('sword').send_keys(bookname)
# 检索
driver.find_element_by_class_name("btn-jiansuo").click()
# 检索结果
driver.switch_to_frame('book')
time.sleep(3)

assert(len(driver.find_elements_by_class_name('yy')) > 1)
# 确认书名
assert(driver.find_elements_by_class_name('yy')[0].text
       == u"《" + bookname + u"》")
# 确认有网页阅读
assert(driver.find_elements_by_class_name('yy')[1].text == u'网页阅读')

bookurl = driver.find_elements_by_class_name('yy')[1].get_attribute('href')

driver.get(bookurl)

# where img locate
base_url = "http://" + urllib2.urlparse.urlparse(driver.current_url).netloc

assert(driver.page_source.find(u'超星') >= 0)

pages = driver.find_elements_by_xpath('//input[@class="Jimg"]')

filelist = [e.get_attribute('jpgname') for e in pages]

imglist = {}

for e in pages:
    imglist[e.get_attribute('jpgname')] = base_url + e.get_attribute('scr')

for k, v in imglist.iteritems():
    if os.path.exists(k):
        continue
    try:
        urllib.urlretrieve(v, k)
        assert(imghdr.what(k) == 'png')
    except Exception, e:
        print e

cmd = u'convert ' + u' '.join(filelist) + ' ' + bookname + u'.pdf'
cmd = cmd.encode('utf-8')
os.popen(cmd)

稍微解释下，最后，是用imagemagick把一大堆png格式的书页内容转化成pdf格式。这个过程相当耗内存……如果有空就想想怎么换种方式转pdf，也愿各位看官能指教下。

chaoxing7.png

当然，我并没有把pdf传给任何人，我看完之后跟同学讲了讲，没有做任何盗版行径。同学们也要遵守用户守则，不要乱搞。

让我们引以为戒 Aaron Swartz

220px-Aaron_Swartz_profile.jpg
Figure 1: Aaron Swartz

非法下载书籍的罪名是非常非常严重的！！！！！

Built with in copyleft@2012-2022