Python Spider: 超星图书爬取转换

速写爬虫的一些经历

超星数字图书馆(北邮镜像): 在线阅读书籍爬取转换(selenium)

我忧心忡忡地看待未来,但仍满怀美好的希望。

-–— Albert Schweitzer

这次推荐selenium,自从有了selenium,爬虫从来没有这么简单过。


几天前,一个工作的同学想让我帮他借一本书《聚酰亚胺新型材料》,他工作上需要看这本书的一些内容,但是这本书已经绝版,网上也没有出售。

于是我帮他搜索了下,图书馆里没有这本书。忽然想起来我邮还买了很多电子资源。

于是从图书馆主页选择=电子图书=->=超星数字电子图书数据=,进入如下页面。

chaoxing.png

搜索了下这本书,找到了一本。

chaoxing1.png

太棒了,下载下来……额……下载需要阅读器……

chaoxing2.png

对一个伪geek最讨厌的事情之一就是,某个牛比的企业倚杖其资源绑架用户安装所谓的客户端。比如讨厌的腾讯和讨厌的淘宝。

自然也不会下载什么阅读器,但是,既然可以在线看,那么就可以下载下来。实在在不行我浏览器截图行么。

selenium让一切成为可能(包括截图)。

让我们在线阅读:

chaoxing3.png

在线阅读提供了一些功能,包括索引、目录和文字提取,悲剧的是下载下来之后转成的pdf可没有这么多道道。虽然,如果肯花时间解决这些都不是问题……但是,我们又不是想pirate电子书……

对页面按右键发现这是个图片!接着观察对应的源码发现,是一个input标签,仔细观察这个input标签你可以看到很多属性,比如比较重要的class、scr、src、jpgname。

仔细多观察一个,你会发现,class是Jimg的似乎都是书页内容、jpgname属性是页码、scr和src好像都是书页图片地址。

chaoxing4.png

你可以试试。说服自己那些就是书页图片地址

chaoxing6.png

多看几个发现下面的页面其实src属性都是假的,猜测是书页滚动到某个页面,通过js动态修改src来实现实时加载而不是一下全加载。

chaoxing5.png

那么,我们抓取当前网页阅读页面所有class属性是=Jimg=的input标签的=scr=标签,就可以获取所有书页的图像了。

接下来,看看selenium是多么丧心病狂……

我们把以上所有从搜索到在线阅读的过程自动化……

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
import time
import os
import imghdr
import urllib
import urllib2
from selenium import webdriver

# bookname = u'聚酰亚胺新型材料'
try:
    bookname = unicode(sys.argv[1], 'utf-8')
except:
    print "[Usage:] chaoxing.py bookname"
    sys.exit(1)
driver = webdriver.Firefox()

# 首先搜索

url = 'http://sslibbook2.sslibrary.com'

driver.get(url)
time.sleep(1)

# 输入书名
driver.find_element_by_id('sword').send_keys(bookname)
# 检索
driver.find_element_by_class_name("btn-jiansuo").click()
# 检索结果
driver.switch_to_frame('book')
time.sleep(3)

assert(len(driver.find_elements_by_class_name('yy')) > 1)
# 确认书名
assert(driver.find_elements_by_class_name('yy')[0].text
       == u"《" + bookname + u"》")
# 确认有网页阅读
assert(driver.find_elements_by_class_name('yy')[1].text == u'网页阅读')

bookurl = driver.find_elements_by_class_name('yy')[1].get_attribute('href')

driver.get(bookurl)

# where img locate
base_url = "http://" + urllib2.urlparse.urlparse(driver.current_url).netloc

assert(driver.page_source.find(u'超星') >= 0)

pages = driver.find_elements_by_xpath('//input[@class="Jimg"]')

filelist = [e.get_attribute('jpgname') for e in pages]

imglist = {}

for e in pages:
    imglist[e.get_attribute('jpgname')] = base_url + e.get_attribute('scr')

for k, v in imglist.iteritems():
    if os.path.exists(k):
        continue
    try:
        urllib.urlretrieve(v, k)
        assert(imghdr.what(k) == 'png')
    except Exception, e:
        print e

cmd = u'convert ' + u' '.join(filelist) + ' ' + bookname + u'.pdf'
cmd = cmd.encode('utf-8')
os.popen(cmd)

稍微解释下,最后,是用imagemagick把一大堆png格式的书页内容转化成pdf格式。这个过程相当耗内存……如果有空就想想怎么换种方式转pdf,也愿各位看官能指教下。

chaoxing7.png

当然,我并没有把pdf传给任何人,我看完之后跟同学讲了讲,没有做任何盗版行径。同学们也要遵守用户守则,不要乱搞。

让我们引以为戒 Aaron Swartz

220px-Aaron_Swartz_profile.jpg
Figure 9: Aaron Swartz

非法下载书籍的罪名是非常非常严重的!!!!!