找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 305|回复: 2

[求助] 怎么获取百度搜索前十条及网址?

1

主题

1

帖子

1

积分

贫民

积分
1
SMK150 发表于 2021-4-13 00:14:46 | 显示全部楼层 |阅读模式
程序如下:
with open ('D:\keyword.txt') as fp1:
    keywords = fp1.read()

# 进行百度搜索并下载搜索页面
fakeua = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36"}
searchPage = requests.get('https://www.baidu.com/s?wd=' + keywords, headers = fakeua)

# 得到前5个搜索结果的链接

searchSoup = bs4.BeautifulSoup(searchPage.text, features="html.parser")
result = searchSoup.select('.t a')

#result = searchSoup.select('#main > ul > li > h3 > a')
#result = searchSoup.select('#\35  > h3 > a')

#输出搜索结果
#fp=open('D:\输出结果.txt', 'w')
print(result)

目前可以从keyword中获取关键字后输出一长串结果,但是我用#result = searchSoup.select('#main > ul > li > h3 > a')可以获得BING的搜索结果,百度搜索结果的selector就是下一行的#result = searchSoup.select('#\35  > h3 > a')。我怎样才能获取百度的搜索结果呢?
回复

使用道具 举报

0

主题

2

帖子

2

积分

贫民

积分
2
hahakchuang 发表于 2021-4-14 18:22:04 | 显示全部楼层
获取出来的是不是url呢?   贴一下打印结果
回复 支持 反对

使用道具 举报

0

主题

5

帖子

5

积分

贫民

积分
5
顺心CIU_pXD8e 发表于 2021-4-14 22:27:15 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表