| 专利名称 | 一种分布式爬虫集群中的节点和系统 | 申请号 | CN201310006486.5 | 专利类型 | 发明专利 | 公开（公告）号 | CN103067521A | 公开（授权）日 | 2013.04.24 | 申请（专利权）人 | 中国科学院声学研究所 | 发明（设计）人 | 陈君;黄志敏;吴京洪;王玲芳 | 主分类号 | H04L29/08(2006.01)I | IPC主分类号 | H04L29/08(2006.01)I;H04L12/803(2013.01)I;G06F17/30(2006.01)I | 专利有效期 | 一种分布式爬虫集群中的节点和系统 至一种分布式爬虫集群中的节点和系统 | 法律状态 | 公开 | 说明书摘要 | 本发明公开了一种基于结构化p2p的去中心化分布式爬虫节点和系统。基于结构化p2p的分布式爬虫集群中的节点包括底层覆盖网，基于p2p组织方式，执行节点间分发url和接收url的协议；爬行模块，基于被分发的url，负责从互联网抓取对应的资源；控制中心，执行分发url和接收url的功能。本发明实施例利用结构化p2p算法kademlia的特点，巧妙地解决了分布式爬虫系统中的去重和负载均衡的问题，实现了系统良好的可拓展性和容错性，可以为大规模分布式的爬虫系统提供通用的设计方法。 |
1、源头对接，价格透明
2、平台验证，实名审核
3、合同监控，代办手续
4、专员跟进，交易保障