一种基于MapReduce的增量计算方法—喀斯玛汇智科技服务平台

本发明公开了一种基于MapReduce的增量计算方法，该方法包括：创建用于缓存不同的历史处理结果的增量处理模型，包括：缓存combiner结果的模型、缓存中间结果的模型与结果直接重用的模型；当获得输入数据时，根据所述输入数据的数据特性选择对应的增量处理模型进行数据处理，并在增量数据到来时，调用所述对应的增量处理模型进行数据处理时缓存的历史处理结果进行增量数据的计算。本发明公开的方法，通过选择适用于数据特性的模型进行计算，可以节省大量不必要的重复计算，从而提高了数据处理的效率。

一种基于MapReduce的增量计算方法

我要咨询