| 专利名称 | 一种并行的垂直交叉网络数据采集方法及系统 | 申请号 | CN201310146080.7 | 专利类型 | 发明专利 | 公开（公告）号 | CN103258017A | 公开（授权）日 | 2013.08.21 | 申请（专利权）人 | 中国科学院计算技术研究所 | 发明（设计）人 | 敖翔;何清;庄福振 | 主分类号 | G06F17/30(2006.01)I | IPC主分类号 | G06F17/30(2006.01)I | 专利有效期 | 一种并行的垂直交叉网络数据采集方法及系统 至一种并行的垂直交叉网络数据采集方法及系统 | 法律状态 | 实质审查的生效 | 说明书摘要 | 本发明提供一种并行的垂直交叉网络数据采集方法及系统，方法包括：S1确定采集方式，若是普通URL列表采集方式根据URL列表直接下载待下载网页数据及其元数据，若是垂直交叉采集方式利用交叉关键字列表检索待下载页，并下载该网页数据及其元数据；S2定时更新任务，对已下载的网页中第一层到当前层的所有网页进行扫描检查，当新下载的页面最后修改时间大于已下载的页面最后修改时间时，对该新下载的页面重新进行数据采集，更新网页数据记录。本发明避掉了多线程技术的一些潜在风险和代价，降低了多线程并行采集的潜在风险与代价，可以实现海量数据更稳定、更高效的并行采集，提高了数据读取和查询的效率。 |
1、源头对接，价格透明
2、平台验证，实名审核
3、合同监控，代办手续
4、专员跟进，交易保障