python怎么爬取搜索后的网页

要爬取搜索后的网页，可以使用Python中的爬虫库（如Requests、BeautifulSoup、Scrapy等）来发送HTTP请求并解析网页内容。

下面是一个使用Requests和BeautifulSoup来爬取搜索后的网页的示例：

import requestsfrom bs4 import BeautifulSoup# 设置请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}# 发送HTTP请求并获取响应内容def get_search_results(keyword):url = 'https://www.example.com/search?q=' + keywordresponse = requests.get(url, headers=headers)return response.text# 解析网页内容，提取需要的信息def parse_search_results(html):soup = BeautifulSoup(html, 'html.parser')results = soup.find_all('div', class_='result')for result in results:title = result.find('h3').textlink = result.find('a')['href']print('Title:', title)print('Link:', link)print('---')# 搜索关键词并爬取搜索结果keyword = 'Python'html = get_search_results(keyword)parse_search_results(html)

在代码中，首先定义了一个get_search_results函数，用于发送HTTP请求并返回搜索结果的HTML内容。然后定义了一个parse_search_results函数，用于解析HTML内容，找到搜索结果中的标题和链接，并进行输出。

最后，调用get_search_results函数传入关键词，获取搜索结果的HTML内容，然后调用parse_search_results函数解析HTML内容，输出搜索结果的标题和链接。

注意：在实际爬取过程中，应该遵守网站的爬取规则和法律法规，不要对目标网站造成过大的负担，可以设置合适的请求头、限制请求频率等。