专利名称：一种web数据采集方法和系统专利类型：发明专利发明人：赵建华,谢刚
申请号：CN201410155549.8申请日：20140417公开号：CN103929339A公开日：20140716
摘要：本发明提供了一种web数据采集方法和系统。所述系统包括数据提供装置以及数据采集装置，其中数据提供装置用于收集web数据；数据采集装置包括：负载检测模块，用于检测数据提供装置的负载情况，并判断负载是否超过阈值，是则等待一定时间再重新检测数据提供装置的负载情况；否则通知数据采集模块对数据提供装置的web数据进行采集；数据采集模块，用于对存储在数据提供装置中的web数据进行采集，并将采集到的web数据存入数据库中；数据分析处理模块，用于对数据库中存储的web数据进行处理。根据本发明的实施例公开的web数据采集方法和系统，能够实现以简单的结构来准确高效地进行web数据采集，同时，避免网页前端压力过大的情况。
申请人：五八同城信息技术有限公司
地址：300457 天津市滨海新区第一大街79号泰达MSD-C区-C3座
国籍：CN
代理机构：北京律恒立业知识产权代理事务所(特殊普通合伙)
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容