阅读量:173
要使用Python进行网页抓取，您可以使用第三方库requests和BeautifulSoup。以下是一个简单的示例，说明如何抓取文章标题和链接：
- 首先，确保已安装requests和beautifulsoup4库。如果尚未安装，请使用以下命令安装：
pip install requests beautifulsoup4
- 创建一个名为
article_scraper.py的Python文件，并在其中编写以下代码：
import requests
from bs4 import BeautifulSoup
def fetch_article_titles_and_links(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
article_titles_and_links = []
for article in soup.find_all('article'):
title = article.find('h2').text.strip()
link = article.find('a')['href']
# 如果链接是相对路径，将其转换为绝对路径
if not link.startswith('http'):
link = requests.compat.urljoin(url, link)
article_titles_and_links.append((title, link))
return article_titles_and_links
if __name__ == '__main__':
url = 'https://example.com/articles' # 更改为您要抓取的文章网站的URL
titles_and_links = fetch_article_titles_and_links(url)
for title, link in titles_and_links:
print(f'Title: {title}\nLink: {link}\n')
-
在代码中替换
https://example.com/articles为您要抓取的文章网站的URL。请注意，此示例适用于具有文章标题和链接在标签内的网站。如果网站的HTML结构不同，您可能需要相应地修改代码。 -
运行Python脚本：
python article_scraper.py
这将输出文章的标题和链接。根据实际需求，您可以使用正则表达式或其他方法提取更多文章信息。