博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫--爬取豆瓣top250电影名
阅读量:6497 次
发布时间:2019-06-24

本文共 1217 字,大约阅读时间需要 4 分钟。

hot3.png

关于模拟浏览器登录的header,可以在相应网站按F12调取出编辑器,点击netwook,如下:

以便于不会被网站反爬虫拒绝。

 

复制代码

1 import requests 2 from bs4 import BeautifulSoup 5 def get_movies(): 6     headers = { 7         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36', 8         'Host': 'movie.douban.com' 9     }10     movie_list = []                                                       #定义序列11     for i in range(0, 10):12         link = 'https://movie.douban.com/top250?start=' + str(i * 25)     #通过循环,下载第二页,第三页13         r = requests.get(link, headers=headers, timeout=10)               #timeout=10,响应时长14         print(str(i + 1), "页响应状态码:", r.status_code)                   #显示状态码,返回200,请求成功15 16         soup = BeautifulSoup(r.text, "lxml")17         div_list = soup.find_all('div', class_='hd')                     #如下图显示,电影名字在div标签之后18         for each in div_list:19             movie = each.a.span.text.strip()                              #span后的文本20             movie_list.append(movie)                                      #append(movie),在movie_list中添加movie序列21     return movie_list 24  movies = get_movies() 25  print(movies)

复制代码

 

转载于:https://my.oschina.net/u/3367404/blog/2986286

你可能感兴趣的文章
CoreOS 手动更新
查看>>
golang 分页
查看>>
再论机械式针对接口编程
查看>>
25 个 Linux 性能监控工具
查看>>
C#程序员整理的Unity 3D笔记(十三):Unity 3D基于组件的思想
查看>>
Tengine-2.1.1 ngx_http_concat_module 400问题
查看>>
Windows中挂载安装ISO文件
查看>>
Wayland 1.0发布
查看>>
golang的goroutine是如何实现的?
查看>>
乐视云基于Kubernetes的PaaS平台建设
查看>>
R 学习笔记《十》 R语言初学者指南--图形工具
查看>>
PHP通过读取DOM抓取信息
查看>>
DICOM医学图像处理:DICOM网络传输
查看>>
nio和传统Io的区别
查看>>
移动端网页布局中需要注意事项以及解决方法总结
查看>>
(原创)Linux下查看系统版本号信息的方法
查看>>
oracle
查看>>
redis使用过程中主机内核层面的一些优化
查看>>
我也要谈谈大型网站架构之系列(2)——纵观历史演变(下)
查看>>
OctoberCMS目录结构-基于Laravel
查看>>