如何实现Qlikview的增量数据加载
1个回答
2016-07-23 · 做真实的自己 用良心做教育
千锋教育
千锋教育专注HTML5大前端、JavaEE、Python、人工智能、UI&UE、云计算、全栈软件测试、大数据、物联网+嵌入式、Unity游戏开发、网络安全、互联网营销、Go语言等培训教育。
向TA提问
关注
展开全部
1 寻找增量时间戳
(1)各种数据库:表的创建时间字段和修改时间字段或者最后的修改时间字段;
(2)sql server:可以用找自增字段或者时间戳;
(3)Oracle:找序列字段也是自增的;
(4)如果找不到以上字段,可以分析实际业务数据:比如各种编号是不是不重复自增的;
上个月的数据不会改变,变化只是本月的,那么本月数据就是增量数据;
(1)对有增量变更记录数据表的,拆分一下(insert,update和delete),很简单直接就可以同步处理数据了;
(2)对有增量数据的:
A:Lookup组件delete可以实现insert和update,delete只能采用outer join方法;
B:outer join和NULL关键字方法可以实现insert,update和delete,但是当数据量较大时消耗性能。
C:SCD缓慢变化维度组件可以很容易实现insert和update,delete只能采用outer join方法;
二:ETL无增量数据:如果实在找不到增量数据,只能先全部删除然后全部抽取。
推荐非常棒的文章:
(1)各种数据库:表的创建时间字段和修改时间字段或者最后的修改时间字段;
(2)sql server:可以用找自增字段或者时间戳;
(3)Oracle:找序列字段也是自增的;
(4)如果找不到以上字段,可以分析实际业务数据:比如各种编号是不是不重复自增的;
上个月的数据不会改变,变化只是本月的,那么本月数据就是增量数据;
(1)对有增量变更记录数据表的,拆分一下(insert,update和delete),很简单直接就可以同步处理数据了;
(2)对有增量数据的:
A:Lookup组件delete可以实现insert和update,delete只能采用outer join方法;
B:outer join和NULL关键字方法可以实现insert,update和delete,但是当数据量较大时消耗性能。
C:SCD缓慢变化维度组件可以很容易实现insert和update,delete只能采用outer join方法;
二:ETL无增量数据:如果实在找不到增量数据,只能先全部删除然后全部抽取。
推荐非常棒的文章:
ZESTRON
2024-09-04 广告
2024-09-04 广告
在Dr. O.K. Wack Chemie GmbH,我们高度重视ZESTRON的表界面分析技术。该技术通过深入研究材料表面与界面的性质,为提升产品质量与可靠性提供了有力支持。ZESTRON的表界面分析不仅涵盖了相变化、化学反应、吸附与解吸...
点击进入详情页
本回答由ZESTRON提供
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询