课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
数据质量是我们在学习大数据技术的时候需要重点关注的一个问题,下面我们就通过案例分析来了解一下,影响数据质量的因素都有哪些。
1.技术因素:主要表现为由于具体数据处理的各技术环节异常造成的数据质量问题。
数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。
2.业务因素:主要表现为由于系统作业流程和人工操作流程设置不当而造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。
3.管理因素:主要表现为由于人员素质及管理机制方面的原因造成的数据质量问题。
如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。
数据质量问题产生的常见原因
源系统业务人员录入不规范,且系统逻辑校核不严谨,导致大量低质量、空值数据。
源系统设计缺陷导致数据质量问题:跨表或跨系统有冗余字段但没有同步机制;逻辑设计问题导致特定情况下出现错误数据;关联性较强的流程设计缺乏有效衔接。
数据上报不及时。
历史数据迁移时操作不规范,导致数据不一致。
系统升级改造,导致历史数据错乱。
各源系统相同含义数据标准不一。
数据增值过程中,每次加工转换产生了新的质量问题。
……
那么,在数据质量管理中遇到了这么多问题,我们怎么能解决呢?
数据质量模块优势
1.图形化操作界面:“零”编码,易操作、易阅读、易维护,适用于所有的业务人员和技术人员。
2.一站式质检全过程:提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。
3.全方位质检报告:多维度质量分析报表,内置丰富的统计分析报告及多种质检结果主题,同时支持自定义扩展;多角度质量绩效评分,支持用户定义评分依据和权重。
4.卓越的质检功能:数据质量管理平台具有出色的跨平台运行能力,兼容多种操作系统,支持所有符合JDBC2.0规范的数据库。系统的质量规则检查支持多线程并发执行,百万级数据20条规则的质量检查只需2分30秒即可完成。
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。