Python Spider: 超星图书爬取转换

Published on Apr 04, 2015

超星数字图书馆(北邮镜像): 在线阅读书籍爬取转换(selenium)

我忧心忡忡地看待未来,但仍满怀美好的希望。

-–— Albert Schweitzer

这次推荐selenium,自从有了selenium,爬虫从来没有这么简单过。


几天前,一个工作的同学想让我帮他借一本书《聚酰亚胺新型材料》,他工作上需要看这本书的一些内容,但是这本书已经绝版,网上也没有出售。

于是我帮他搜索了下,图书馆里没有这本书。忽然想起来我邮还买了很多电子资源。

于是从图书馆主页选择=电子图书=->=超星数字电子图书数据=,进入如下页面。

chaoxing.png

搜索了下这本书,找到了一本。

chaoxing1.png

太棒了,下载下来……额……下载需要阅读器……

chaoxing2.png

对一个伪geek最讨厌的事情之一就是,某个牛比的企业倚杖其资源绑架用户安装所谓的客户端。比如讨厌的腾讯和讨厌的淘宝。

自然也不会下载什么阅读器,但是,既然可以在线看,那么就可以下载下来。实在在不行我浏览器截图行么。

selenium让一切成为可能(包括截图)。

让我们在线阅读:

chaoxing3.png

在线阅读提供了一些功能,包括索引、目录和文字提取,悲剧的是下载下来之后转成的pdf可没有这么多道道。虽然,如果肯花时间解决这些都不是问题……但是,我们又不是想pirate电子书……

对页面按右键发现这是个图片!接着观察对应的源码发现,是一个input标签,仔细观察这个input标签你可以看到很多属性,比如比较重要的class、scr、src、jpgname。

仔细多观察一个,你会发现,class是Jimg的似乎都是书页内容、jpgname属性是页码、scr和src好像都是书页图片地址。

chaoxing4.png

你可以试试。说服自己那些就是书页图片地址

chaoxing6.png

多看几个发现下面的页面其实src属性都是假的,猜测是书页滚动到某个页面,通过js动态修改src来实现实时加载而不是一下全加载。

chaoxing5.png

那么,我们抓取当前网页阅读页面所有class属性是=Jimg=的input标签的=scr=标签,就可以获取所有书页的图像了。

接下来,看看selenium是多么丧心病狂……

我们把以上所有从搜索到在线阅读的过程自动化……

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-

    import sys
    import time
    import os
    import imghdr
    import urllib
    import urllib2
    from selenium import webdriver

    # bookname = u'聚酰亚胺新型材料'
    try:
        bookname = unicode(sys.argv[1], 'utf-8')
    except:
        print "[Usage:] chaoxing.py bookname"
        sys.exit(1)
    driver = webdriver.Firefox()

    # 首先搜索

    url = 'http://sslibbook2.sslibrary.com'

    driver.get(url)
    time.sleep(1)

    # 输入书名
    driver.find_element_by_id('sword').send_keys(bookname)
    # 检索
    driver.find_element_by_class_name("btn-jiansuo").click()
    # 检索结果
    driver.switch_to_frame('book')
    time.sleep(3)

    assert(len(driver.find_elements_by_class_name('yy')) > 1)
    # 确认书名
    assert(driver.find_elements_by_class_name('yy')[0].text
           == u"《" + bookname + u"》")
    # 确认有网页阅读
    assert(driver.find_elements_by_class_name('yy')[1].text == u'网页阅读')

    bookurl = driver.find_elements_by_class_name('yy')[1].get_attribute('href')

    driver.get(bookurl)

    # where img locate
    base_url = "http://" + urllib2.urlparse.urlparse(driver.current_url).netloc

    assert(driver.page_source.find(u'超星') >= 0)

    pages = driver.find_elements_by_xpath('//input[@class="Jimg"]')

    filelist = [e.get_attribute('jpgname') for e in pages]

    imglist = {}

    for e in pages:
        imglist[e.get_attribute('jpgname')] = base_url + e.get_attribute('scr')

    for k, v in imglist.iteritems():
        if os.path.exists(k):
            continue
        try:
            urllib.urlretrieve(v, k)
            assert(imghdr.what(k) == 'png')
        except Exception, e:
            print e

    cmd = u'convert ' + u' '.join(filelist) + ' ' + bookname + u'.pdf'
    cmd = cmd.encode('utf-8')
    os.popen(cmd)

稍微解释下,最后,是用imagemagick把一大堆png格式的书页内容转化成pdf格式。这个过程相当耗内存……如果有空就想想怎么换种方式转pdf,也愿各位看官能指教下。

chaoxing7.png

当然,我并没有把pdf传给任何人,我看完之后跟同学讲了讲,没有做任何盗版行径。同学们也要遵守用户守则,不要乱搞。

让我们引以为戒 Aaron Swartz

220px-Aaron_Swartz_profile.jpg
Figure 1: Aaron Swartz

非法下载书籍的罪名是非常非常严重的!!!!!