一老友希望从Twitter上抓取特定主体的所有推文，打算用python+selenium试一下。

安装Selenium

目前Selenium支持的Python版本有2.7，3.2，3.3，3.4。我使用的是2.7。

sudo pip install selenium

我在mac上安装遇到错误：

OSError: [Errno 1] Operation not permitted: '/System/Library/Frameworks/Python.framework/Versions/2.7/selenium'

这是因为OSX El Capitan使用的新的安全策略不允许用户修改系统文件。系统的Python也处于保护之下。

对于这个问题可以使用Virtualenv这个工具。Virtualenv可以建立一个独立的Python运行环境。具体可以参加这个教程。

安装virtualenv并建立一个新Python环境：

1
2
3
4
5
sudo pip install virtualenv
virtualenv --no-site-packages test_env
source test_env/bin/activate              # 进入环境
pip install selenium                      # 这个时候安装已经不需要sudo了
deactivate                                # 退出环境

virtualenv解决了Python不能为每个项目独立设置包管理的问题。但是相较于npm的方式，还是很麻烦的。

基础使用

1
2
3
4
5
6
7
8
9
10
11
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.send_keys("pycon")
elem.send_keys(Keys.RETURN)
assert "No results found." not in driver.page_source
driver.close()

这是官网上的demo。我们先把这个跑通了。我运行的时候提示错误：

1
2
raise WebDriverException("The browser appears to have exited "
selenium.common.exceptions.WebDriverException: Message: The browser appears to have exited before we could connect. If you specified a log_file in the FirefoxBinary constructor, check it for details.

再运行一次就不会报错。目前还不知道原因。

Python的官网使用了一些被墙的资源，所以我吧代码改成了中国版的，注意Python2.7中处理中文还是比较麻烦的：

1
2
3
4
5
6
7
8
# coding=utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
assert u"百度" in driver.title
driver.close()

成功运行。

使用代理

目标链接：https://twitter.com/search?q=%23%24aapl%20lang%3Aen%20since%3A2015-01-01%20until%3A2015-12-31&src=typd。是Twitter的一个网址。还是必须得翻墙。

我使用的翻墙方法是在mac下使用chrome+shadowsocks。但是mac下的Firefox似乎无法使用系统代理，导致不能像chrome那样使用系统代理翻墙，需要手工指定。

而使用selenium启动的Firefox，并不会使用你正常启动的那个Firefox中的配置。需要在程序中指定(参考地址)。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.proxy import *

myProxy = "127.0.0.1:1080"

proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    # 'httpProxy': myProxy,
    # 'ftpProxy': myProxy,
    # 'sslProxy': myProxy,
    'socksProxy': myProxy,
    'noProxy': '' # set this value as desired
    })
driver = webdriver.Firefox(proxy=proxy)
driver.get("https://twitter.com/search?q=%23%24aapl%20lang%3Aen%20since%3A2015-01-01%20until%3A2015-12-31&src=typd")
# driver.close()

但是Firefox对代理的支持还是不尽如人意，通用使用代理，比chrome的速度慢了很多，而且还打不开。。。

使用ChromeDriver

ChromeDriver是用来控制Chrome的WebDriver。默认selenium不会提供ChromeDriver，需要自己去下载(地址)。

下载后把chromedriver这个可执行文件放到一个特定目录下。使用ChromeDriver需要制定这个路径的：

1
2
3
4
5
6
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome("/Users/mazhibin/software/chromedriver")
driver.get("https://twitter.com/search?q=%23%24aapl%20lang%3Aen%20since%3A2015-01-01%20until%3A2015-12-31&src=typd")
# driver.close()

很好，这些启动了Chrome，而且使用了系统代理，很快就打开了页面。（为什么Firefox一直打不开呢？）

获取页面内容

通过Chrome开发者工具分析Twitter页面。发现推文是在tweet-text这个类选择器中的。在selenium中如何获取呢？

首先是获取元素，selenium提供了一系列的函数来获取元素：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 获取单个元素
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

# 获取多个元素
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

这些函数返回WebElement对象。我们可以使用WebElement对象上属性和方法来获取信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
属性：
text
tag_name

方法：
get_attribute(name)  # 获取元素的某属性
is_displayed()       # 是否系列
is_enabled()
is_selected()
find_...             # 之前的find系列在WebElement上也可以使用，表示寻找子元素
clear()
click()
screenshot(filename)
send_keys(*value)
submit()
value_of_css_property(property_name)

获取推文的text的demo如下：

1
2
3
4
5
6
driver = webdriver.Chrome(chromedriverPath)
driver.get(url)
items = driver.find_elements_by_css_selector(".tweet-text")
for item in items:
    print item.text
driver.close()

滚动页面

Twitter的页面是会在滚动到页面底部后自动加载的。现在由于很多网站是这样的。就是因为页面中的信息是通过js异步加载的所以才需要使用selenium来抓取，不然用经典的Python爬虫就很好了。

现在我们需要通过selenium控制页面。

如果selenium对所有页面可能的操作都定义一个包装函数，可想而知，工作量是非常大的。而这些操作，可以肯定的是js一定能做到。所以selenium通过管道使用户可以在页面中注入js，使自身变得非常强大。

1
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

这句代码可以让页面滚动到底部。

现在的逻辑是，我需要在页面滚动到底部后，等待页面加载完成，再滚动到底部，再等待。重复十次，最后获取此时页面上的所有推文。

如果我直接重复上面的代码十次，是没有这个效果的。因为execute_script会立马返回，不会等待页面再次加载完成的。所以这个时候就需要wait系列函数了。

等待页面发生变化

大部分操作，是会导致页面变化的，页面变化后再进行下一步操作也是最常见的做法。为了让程序可以觉察到页面发生了变化，selenium提供了一系列等待页面发生变化的函数。

等待分为两种。一种是明确的等待，比如我知道点击这个按钮后，页面会多一个元素。另外一种是不明确等待，不明确等待因为不知道页面会发生什么变化，所以笼统地等待一定的时间。 前面的这种理解是错的。不明确等待，是指本来selenium在获取页面DOM元素时，是不会等待的，没有就是没有，而如果设置了不明确等待，那么如果没有获取到页面元素，会等待一定的时间。

明确等待的例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

expected_conditions中可以使用的条件有：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable - it is Displayed and Enabled.
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

不明确等待可以这么用：

1
2
3
4
5
6
from selenium import webdriver

driver = webdriver.Firefox()
driver.implicitly_wait(10) # seconds
driver.get("http://somedomain/url_that_delays_loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")

selenium似乎没有直接让浏览器等待几秒的做法。只能使用明确等待的系列函数。

现在回到Twitter的页面逻辑上。页面在滚动到底部后，页面上啥元素也不会边，底下也不会变成“正在加载”什么的（Twitter真是偷懒啊。。。）只能通过页面中推文的个数来确定了。

第一次页面会加载13个推文，之后每次都会加载13个，所以通过个数可以判断加载完成了。可以使用css的选择器，来实现这个效果。推文都是在#stream-items-id这个ol中的，其中的第一个li是标题，所以第2-14个是推文，如果第27个推文出现了，说明第一次的刷新成功了。

“#stream-items-id >li:nth-of-type(28)”

所以在页面滚动后，需要等待最新的一条推文出现，再继续滚动。最终的程序如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
# coding=utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import csv
import codecs
import sys  
reload(sys)  
sys.setdefaultencoding('utf-8')

def crawl(url):
    chromedriverPath = "/Users/mazhibin/software/chromedriver"

    # twitter每次更新13条
    eachCount = 13

    # 滚动几次。滚动次数越多，采集的数据越多
    scrollTimes = 10

    # driver = webdriver.Firefox()
    driver = webdriver.Chrome(chromedriverPath)
    driver.get(url)

    try:
        for i in range(scrollTimes):
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        
            lastTweetCss = "#stream-items-id >li:nth-of-type(" + str(eachCount*(i+2)+1) + ") .tweet-text"
            print lastTweetCss
            elem = WebDriverWait(driver,20).until(EC.visibility_of_element_located((By.CSS_SELECTOR,lastTweetCss)))
            printTweet(driver)
    finally:
        driver.close()


def printTweet(driver):
    tweetCss = "[data-item-type=tweet]"
    nameCss = ".fullname"
    timeCss = "._timestamp"
    contentCss = ".tweet-text"

    items = driver.find_elements_by_css_selector(tweetCss)
    resultArr = []
    for i,item in enumerate(items):
        try:
            nameElem = item.find_element_by_css_selector(nameCss)
            timeElem = item.find_element_by_css_selector(timeCss)
            contentElem = item.find_element_by_css_selector(contentCss)

            name = nameElem.text
            time = timeElem.text
            content = contentElem.text

            resultArr.append([name,time,content])
            print("%d: name=%s time=%s content=%s" % (i,name,time,content))
        except Exception, e:
            print("error index=%d" % (i))
            print e

    printToCsv(resultArr)


def printToCsv(data):
    writer = csv.writer(codecs.open('result.csv','wb','gbk'))
    writer.writerow(['name','time','content'])

    for item in data:
        writer.writerow(item)


if __name__ == '__main__':
    url = "https://twitter.com/search?q=%23%24aapl%20lang%3Aen%20since%3A2015-01-01%20until%3A2015-12-31&src=typd"
    crawl(url)

参考链接