B | 之前的文章请看:火车头采集动态加载Ajax数据(无分页瀑布流网站) 如果遇到POST方法来架子Ajax数据,这和我之前写的是两个类型,瀑布流是直接刷新出数据的页面。
Advertise with us
6名青少年持刀袭击2少女
据1 News报道,周一下午5点左右,在开往北岸Albany的一辆公交车上,六名青少年涉嫌袭击两名少女,其中一人带着一把刀。
C |
袭击后,这六人从公交车下来,跑向附近的购物中心。 采集网站分析 采集任何一个新站前我们都要对他进行一番分析才好下手。 列表页分析 这个网站的列表页,前面并不是通过Ajax加载的。
他们随后被警方拘留。CTRL+U可以直接看到列表内容,通过浏览器也看不到相关请求地址。
因为习惯原因,我直接看了下尾页列表页。
D | 然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。
E | 结果就发现无法看到列表内容。带刀的男孩只有14岁。
其中一名受害者表示,她感到“压力很大”,“非常、非常震惊”,“感觉不可置信。”平时公交车是她的主要出行工具,但她决定暂时不坐公交车。“我们不想再经历这种事了,太害怕了。浏览器可以看到一个通过post请求的地址。
F |
这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。
G | 通过笨方法,手动访问页面看看Ajax加载大概是哪些。”
一名受害者的母亲说,她希望家长们警惕这类暴力行为,常与孩子们沟通。最后找到大概从2200页左右开始Ajax加载。她还说,奥克兰正变得“越来越不安全”,去年Albany公交站有一名男子被袭击而死亡。在这样的社会里,孩子们坐公交车感觉很不安全。 那我们采集的时候,前面的列表页就可以使用普通方式去采集(速度更快)。
警方称这种暴力行为是“完全不可接受的”,他们正在Northern Express沿线的大型公交车站继续巡逻。 2200页开始到尾页就通过post请求Ajax页面数据。 抓包获取Post数据 这个Ajax地址我在浏览器看不到任何跟页码有关的数据。最后只能使用抓包工具看一下详细的请求内容了。