| 专利名称 | 一种面向大数据的分布式主题发现方法及系统 | 申请号 | CN201310526790.2 | 专利类型 | 发明专利 | 公开(公告)号 | CN103593418A | 公开(授权)日 | 2014.02.19 | 申请(专利权)人 | 中国科学院计算技术研究所 | 发明(设计)人 | 吴新宇;何清;庄福振;敖翔 | 主分类号 | G06F17/30(2006.01)I | IPC主分类号 | G06F17/30(2006.01)I | 专利有效期 | 一种面向大数据的分布式主题发现方法及系统 至一种面向大数据的分布式主题发现方法及系统 | 法律状态 | 实质审查的生效 | 说明书摘要 | 本发明涉及一种面向大数据的分布式主题发现系统及方法,包含三个并行处理过程,每个过程均由映射、组合、化简三个功能模块中的一个或多个组合而成,对每个输入文档的特征向量进行正规化,并且对构成该文档的每个词在本文档中出现次数进行计数;在映射功能模块端将每个文档作为一个原始类并对文档频率计数,在组合模块端对映射模块端产生的原始类进行本地聚类,生成局部类,在化简模块端对来自多个远端物理节点组合产生的局部类进行聚类,生成全局类;对第二个映射/化简过程产生全局类的内部关键词进行打分和排序,输出用户所需的K个高分关键词表达主题。从而处理TB级数据,并且计算能力线性上升,真正实现分布式计算,提高性能和效率。 |
1、源头对接,价格透明
2、平台验证,实名审核
3、合同监控,代办手续
4、专员跟进,交易保障