python爬虫使用requests请求无法获取网页元素时终极解决方案
python爬⾍使⽤requests请求⽆法获取⽹页元素时终极解决⽅案
    爬取数据时，有时候会出现⽆法通过正常的requests请求获取⽹页内容，导致数据⽆法抓取到，遇到这种情况时，可以换种思路去爬取数据，使⽤PhantomJS，即爬⾍终极解决⽅案去获取页⾯元素。
#!/usr/local/bin/python3.7
from selenium import webdriver
import time
# phantomJS路径
path = '/Users/mozili/Documents/PhantomJS/phantomjs-2.1.1-macosx/bin/phantomjs'
# 创建浏览器对象
browser = webdriver.PhantomJS(path)
# 打开百度并操作
url = 'www.baidu'
<(url)
time.sleep(1)
# 截图
browser.save_screenshot('Reptile/phantomjs_img/baidu.png')
# 定位搜索框
search = browser.find_element_by_id('kw')
time.sleep(1)
# 在搜索框输⼊内容
search.send_keys('美⼥')
time.sleep(1)
# 截图
browser.save_screenshot('Reptile/phantomjs_img/meinv.png')
网页截图# 关闭浏览器
browser.quit()

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。