(12)发明专利申请
(21)申请号 CN201910835029.4 (22)申请日 2019.09.05
(71)申请人 上海携程商务有限公司
地址 200335 上海市长宁区金钟路968号16号楼10楼
(10)申请公布号 CN110516139A
(43)申请公布日 2019.11.29
(72)发明人 宋海伟
(74)专利代理机构 上海弼兴律师事务所
代理人 薛琦
(51)Int.CI
权利要求说明书 说明书 幅图
(54)发明名称
爬虫系统及方法
(57)摘要
本发明公开了爬虫系统及方法,其中爬虫
系统包括客户端和服务端;服务端包括负载均衡服务器、集群服务器;客户端用于根据预设爬取目标和目标网站的访问要求生成爬取参数,并发送爬取参数至负载均衡服务器;负载均衡服务器用于根据爬取参数生成爬虫任务,并分配爬虫任务至集群服务器;集群服务器用于根据爬虫任务爬取目标网站的目标数据。本发明的客户端用户只需要在客户端根据预设爬取目标和目标网站的
访问要求设置爬取参数,生成的爬虫任务统一由集群服务器进行处理,使得系统易于维护,减少研发时长,避免重复研发工作量及降低研发成本。
法律状态
法律状态公告日
2019-11-29 2019-11-29 2019-12-24
法律状态信息
公开 公开
实质审查的生效
法律状态
公开 公开
实质审查的生效
权利要求说明书
爬虫系统及方法的权利要求说明书内容是....请下载后查看
说明书
爬虫系统及方法的说明书内容是....请下载后查看
因篇幅问题不能全部显示,请点此查看更多更全内容