python协程爬虫怎么编写_运维文库_资讯中心

发布时间:2026-04-28 15:54:37

阅读量:4

要编写一个使用协程的Python爬虫，你可以使用aiohttp库来处理异步HTTP请求，以及asyncio库来管理协程。以下是一个简单的示例，展示了如何使用这些库来编写一个异步爬虫：

首先，确保安装了aiohttp库：

pip install aiohttp

然后，创建一个名为async_crawler.py的文件，并添加以下代码：

import asyncio
import aiohttp
from bs4 import BeautifulSoup

async def fetch(url, session):
    async with session.get(url) as response:
        return await response.text()

async def parse(html):
    soup = BeautifulSoup(html, 'html.parser')
    for link in soup.find_all('a'):
        href = link.get('href')
        print(href)

async def main():
    urls = [
        'https://example.com',
        'https://example.org',
        'https://example.net',
    ]

    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in urls:
            task = asyncio.ensure_future(fetch(url, session))
            tasks.append(task)

        htmls = await asyncio.gather(*tasks)

        for html in htmls:
            await parse(html)

if __name__ == '__main__':
    asyncio.run(main())

在这个示例中，我们定义了三个异步函数：

fetch(url, session)：使用aiohttp库异步获取指定URL的HTML内容。
parse(html)：使用BeautifulSoup库解析HTML内容，并打印所有链接的URL。
main()：创建一个aiohttp.ClientSession，并为每个URL创建一个fetch任务。然后，使用asyncio.gather并发执行这些任务，并在完成后遍历结果并调用parse函数。