异步爬虫python案例有吗_运维文库_资讯中心

发布时间:2026-04-28 16:00:00

阅读量:4

当然有！下面是一个简单的Python异步爬虫案例，使用了aiohttp和asyncio库。这个案例将会抓取一个网站的所有链接。

首先，确保你已经安装了aiohttp库。如果没有安装，可以使用以下命令安装：

pip install aiohttp

接下来，创建一个名为async_crawler.py的文件，并将以下代码粘贴到文件中：

import aiohttp
import asyncio
from bs4 import BeautifulSoup

async def fetch(url, session):
    async with session.get(url) as response:
        return await response.text()

async def get_links(url, session):
    async with session.get(url) as response:
        html = await response.text()
        soup = BeautifulSoup(html, 'html.parser')
        links = [a['href'] for a in soup.find_all('a', href=True)]
        return links

async def main():
    urls = [
        'https://example.com',
    ]

    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in urls:
            task = asyncio.ensure_future(get_links(url, session))
            tasks.append(task)

        links = await asyncio.gather(*tasks)

        for link_list in links:
            for link in link_list:
                print(link)

if __name__ == '__main__':
    asyncio.run(main())

在这个案例中，我们定义了三个异步函数：

fetch(url, session)：使用aiohttp库异步获取指定URL的HTML内容。
get_links(url, session)：解析HTML内容，提取所有链接。
main()：创建一个aiohttp.ClientSession，为每个URL创建一个get_links任务，并使用asyncio.gather并发执行这些任务。最后，打印出所有提取到的链接。

要运行这个异步爬虫，请在命令行中输入以下命令：