python抓取⽹页图⽚教程_Python实现简单⽹页图⽚抓取完整
代码实例
利⽤python抓取⽹络图⽚的步骤是:
1、根据给定的⽹址获取⽹页源代码
2、利⽤正则表达式把源代码中的图⽚地址过滤出来
3、根据过滤出来的图⽚地址下载⽹络图⽚绍兴旅游景点
以下是⽐较简单的⼀个抓取某⼀个百度贴吧⽹页的图⽚的实现:
# -*- coding: utf-8 -*-
# feimengjuan
import re
import urllib
import urllib2
#抓取⽹页图⽚
#根据给定的⽹址来获取⽹页详细信息,得到的html就是⽹页的源代码
def getHtml(url):台式机添加硬盘
page = urllib.urlopen(url)
中德关系html = ad()
return html
def getImg(html):
#利⽤正则表达式把源代码中的图⽚地址过滤出来
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = repile(reg)
imglist = imgre.findall(html) #表⽰在整个⽹页中过滤出所有图⽚的地址,放在imglist中
x = 0
for imgurl in imglist:
urllib.urlretrieve(imgurl,'%s.jpg' %x) #打开imglist中保存的图⽚⽹址,并下载图⽚保存在本地
x = x + 1
html = getHtml("tieba.baidu/p/2460150866")#获取该⽹址⽹页详细信息,得到的html就是⽹页的源代码
getImg(html)#从⽹页源代码中分析并下载保存图⽚
进⼀步对代码进⾏了整理,在本地创建了⼀个“图⽚”⽂件夹来保存图⽚
# -*- coding: utf-8 -*-
# feimengjuan
import re
import urllib
import urllib2
import os
#抓取⽹页图⽚
#根据给定的⽹址来获取⽹页详细信息,得到的html就是⽹页的源代码def getHtml(url):
page = urllib.urlopen(url)
html = ad()
return html
#创建保存图⽚的⽂件夹
def mkdir(path):
path = path.strip()
# 判断路径是否存在
# 存在 True
# 不存在 Flase
isExists = ists(path)
if not isExists:
print u'新建了名字叫做',path,u'的⽂件夹'
# 创建⽬录操作函数
os.makedirs(path)
return True
else:
# 如果⽬录存在则不创建,并提⽰⽬录已经存在
print u'名为',path,u'的⽂件夹已经创建成功'
return False
# 输⼊⽂件名,保存多张图⽚
def saveImages(imglist,name):
number = 1
for imageURL in imglist:
splitPath = imageURL.split('.')
fTail = splitPath.pop()
if len(fTail) > 3:
fTail = 'jpg'
fileName = name + "/" + str(number) + "." + fTail
旅泡# 对于每张图⽚地址,进⾏保存
try:
u = urllib2.urlopen(imageURL)
data = u.read()
f = open(fileName,'wb+')
f.write(data)
print u'正在保存的⼀张图⽚为',fileName
f.close()
except urllib2.URLError as e:
print (e.reason)
number += 1
#获取⽹页中所有图⽚的地址
def getAllImg(html):
#利⽤正则表达式把源代码中的图⽚地址过滤出来
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = repile(reg)
相逢何必曾相识前一句imglist = imgre.findall(html) #表⽰在整个⽹页中过滤出所有图⽚的地址,放在imglist中
return imglist
#创建本地保存⽂件夹,并下载保存图⽚
if __name__ == '__main__':
html = getHtml("tieba.baidu/p/2460150866")#获取该⽹址⽹页详细信息,得到的html就是⽹页的源代码path = u'图⽚'
mkdir(path) #创建本地⽂件夹
imglist = getAllImg(html) #获取图⽚的地址列表
药妆saveImages(imglist,path) # 保存图⽚
结果在“图⽚”⽂件夹下保存了⼏⼗张图⽚,如截图:
总结
以上就是本⽂关于Python实现简单⽹页图⽚抓取完整代码实例的全部内容,希望对⼤家有所帮助。感兴趣的朋友可以继续参阅本站:如有不⾜之处,欢迎留⾔指出。感谢朋友们对本站的⽀持!
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论