python异步爬取网页源代码

可以使用Python的异步库`asyncio`和`aiohttp`来实现异步爬取网页源代码,代码如下:

```python
import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, 'https://www.example.com')  # 将URL替换成你要爬取的网页
        print(html)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())
```

首先定义一个异步函数`fetch`,用于获取网页的HTML代码。然后定义一个异步函数`main`,用于创建`ClientSession`对象,发起异步请求并获取HTML代码,并打印输出。最后使用`asyncio`模块的`get_event_loop()`函数获取事件循环对象,并调用`run_until_complete()`方法运行异步函数`main`。

相关代码参考