好用的PHP爬虫采集器蓝天采集器&INFO-SPIDER 集众多数据源于一身的爬虫工具箱。

网上的爬虫工具很多,例如火-车头等,使用感受不是非常理想,成本太高。鉴于分享精神,这里记录下自己喜欢用的爬虫工具。

蓝天采集器

自己亲身体会过,门槛低,成本小,爬取方式简单粗暴,规则平台覆盖面很广,有技术完全可以自行制作。

好用的PHP爬虫采集器蓝天采集器&INFO-SPIDER 集众多数据源于一身的爬虫工具箱

关于软件

蓝天采集器(SkyCaiji),致力于网站数据自动化采集发布,系统采用PHP+Mysql开发,可部署在云端服务器,使数据采集便捷化、智能化、云端化,让您随时随地移动办公!

数据采集

支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别

内容发布

无缝对接各类CMS建站程序,实现免登陆导入数据,支持自定义数据发布插件,也可以直接导入数据库、存储为Excel文件、生成API接口等

自动化及云平台

软件实现定时定量全自动采集发布,无需人工干预!内置云平台,用户可分享及下载采集规则,发布供求信息以及社区求助、交流等。

官方地址:https://www.skycaiji.com/

下载地址:https://www.skycaiji.com/manual/doc/install

这里留一份,怕突然不在了,起码自己还能技术改造:下载:https://pm100.lanzoui.com/i6zlrhppqgj 密码:4ww5

INFO-SPIDER 集众多数据源于一身的爬虫工具箱

目前网传很火,试了下相当不错,其软件介绍:

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具箱代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。

目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书等等。

好用的PHP爬虫采集器蓝天采集器&INFO-SPIDER 集众多数据源于一身的爬虫工具箱

项目代码:https://github.com/kangvcar/InfoSpider
项目使用文档: https://infospider.vercel.app
项目视频演示: https://www.bilibili.com/video/BV14f4y1R7oF/

感兴趣请自行研究。

分享不易,请支持本站其他资源

菲律宾手机话费快速充值:http://www.globalrecharge.cn/
新版axureshop产品原型网:http://www.axureshops.com
AxureShop商城:http://axure.amynik.com/
情趣商城:http://sex.chanpindashi.com/
Axure工具集下载:http://www.chanpindashi.com/2019/12/02/1997.html
产品大师:http://www.chanpindashi.com/
源码商城:http://mall.amynik.com/list/1
axureshop产品原型网(旧版停止更新):http://axureshop.amynik.com/
产品经理论坛:http://bbs.amynik.com
淘宝优惠券:http://taobao.chanpindashi.com/
京东优惠券:http://jd.chanpindashi.com/?chanpindashi.com
艾美图纸网:http://tuzhi.amynik.com/

最后编辑:2020年10月25日 ©著作权归作者所有

发表评论

×