今天在家办公的时候由于网站需要采集一些加盟相关的文章,因此就想去前景网,中国加盟网,全球加盟网之类的网站去查找数据源。但是由于前景网的分类原因,没有找到自己想要的分类。因此,想着使用网站的搜索功能试试看看,结果发现用的是post请求发送的数据。那么遇到post请求怎么使用火车采集器来采集数据呢,下面就举例来说明。
测试网址:https://www.qj.com.cn/so/测试搜索词:科技。需要工具:火狐浏览器中的开发者工具(其它浏览器的开发者工具也可以,看自己喜欢或者熟悉用哪个)。下面开始说下流程。
首先:打开网址,打开开发者工具(一般都是点击F12)切换到网络也叫做(Network),输入搜索词,可以在网络那里看到浏览器发送的请求地址。点击请求查看请求的参数,或者使用右键选择复制带参数的地址即可。可以参看下图来操作。
懂的人员可以直接在这里看到请求的参数,参看下图,源代码那里就是请求的参数:
之后在火车采集器可以按照下图来操作,通过测试发现这个页面无法获取到下一页地址,因此可以在入口列表那里添加翻页。好了问题解决了,如果你有其它问题,可以联系站长。
如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:大海资源库
暂无评论内容