【花瓣网】花瓣网—瀑布流数据采集思路详解

2018-06-01 10:28:08 浏览:3407

瀑布流,又称瀑布流式布局。是比较流行的一种网站页面布局。


视觉表现为参差不齐的多栏布局,随着页面滚动条向下滚动,这种布局还会不断加载数据块并附加至当前尾部。


用户一眼扫过的快速阅读模式可以在短时间内获得更多的信息量,而瀑布流里懒加载模式又避免了用户鼠标点击的翻页操作。


错落有致,定宽而不定高的设计让页面区别于传统的矩阵式图片布局模式,巧妙的利用视觉层级,视线的任意流动又缓解了视觉疲劳,同时给人以不拘一格的感觉。


切中年轻一族的个性化心理。所以这种页面布局在现今饱受欢迎。

1.gif


             那么如何采集瀑布流数据呢?

            今天我们以花瓣网为例,向大家解说一下


1. 拿到网页后,分析网页的形式,得出网页为瀑布流形式,需要通过FIDDLER抓包获取真实地址

HTTP://HUABAN.COM/EXPLORE/UISHUJU/?JF22V0AV&MAX=1356497171&LIMIT=200&WFL=1


2.jpg


修改下LIMIT参数为200,这样采集器可以获取200个列表页。

2. 编写网址采集规则

3.jpg

3. 获取列表页后,设置内容采集规则

4,jpg.jpg

图片采集用到了商业版的功能,内容添加前后缀。

注意事项:这个网页使用瀑布流形式,需要抓包获取真实地址

FIDDLER抓包教程HTTP://FAQ.LOCOY.COM/Q-755.HTML

抓包工具小伙伴们可以自行百度下载安装,操作很简单。



联系我们
客服QQ:800019423
客服电话:400-8757-060


软件购买:HTTP://WWW.LOCOY.COM/BUY


扫码关注微信