ETL常见问题&解决办法

孙岩

2009-03-05 11:38 IP：222.35.117.*(北京市)

楼主

（1）数据缺失问题。在数据整合中最大的问题就是数据缺失问题，比如说这边运营没有系统，缺失了很多运营指标相关的数据。

解决办法：是通过手动方式录入/上报数据，注意上报要按照统一的规范进行（客户一般是填到标准的模版里。）

（2）数据准确性问题。

由于业务人员， IT人员、业务系统开发人员对数据的理解层次不一样，指标和维度的定义者和使用者对业务语言、业务指标、业务维度的理解存在差异，造成业务语言、指标、维度的混淆和不统一。

解决办法：需要业务人员、IT人员、业务系统开发商与数据整合服务商通力合作，通过调查问卷、C/U矩阵，明确业务指标和业务维度，不可靠某一方来单独处理。

（3）数据更新问题。

随着业务的发展，业务数据的累积，必然引出一系列的数据更新、同步化问题，如何将已变化的数据准确、及时的抽取、转换、加载到目标数据仓库已成为数据整合中的重要问题。

解决办法：选用合适的ETL工具(BO Data Integrator/Pervasive)，建立数据更新日志。定时监控数据更新情况，确保数据质量，更好的保证前端展现的效果。

（4）数据减压问题：

各个业务系统数据库中积累了大量的数据，负责抽取数据的服务器已经承载了巨大的数据压力，面对数据库和系统长时间的响应时间，业务人员、领导决策部门只能无奈的等待。

解决办法：将大量数据向特定数据转换，从系统架构和硬件配置方面解决，可使用OLAP Server，准备和计算、定义好多维数据进行显示，(注：虽然展示的速度较快，但可能要多投入更多成本，确定维度组合的工作量较大，并且不能随意钻取。)