动态网站的爬取的策略

一、认识动态网站

所谓的动态网站,是使用ajax加载出来的网页,我们打开网页的时候可以正常显示内容,但是我们在显示网页源代码的时候,里面却找不到该节点.

二、常见动态网站的抓取方式

• 1、直接分析ajax调用的接口,然后通过代码请求这个接口
• 2、采用模拟浏览器请求该动态网站,然后获取网页数据