认识达内从这里开始

随着互联网的不断发展，无论是大数据还是云计算等技术都被越来越多的程序员掌握，今天我们就通过案例分析来简单了解一下，数据运维的原则与应用分析。

1、DataOps的原则

在技术方面，DataOps实现了组织具开创性的里程碑之一——使他们的数据程序具有高度可扩展性，而不会影响数据分析的速度或质量。因为它借鉴了DevOps的经验教训和实践，所以DataOps在许多关键方面与前者重叠。这在DataOps的三个基本原则中可见：

持续集成

DataOps动态地识别、整理、集成和提供来自各种来源的数据。当团队为DataOps团队添加新数据源进行处理时，新数据会自动集成到数据管道中，并使用AI/ML工具提供给各个利益相关者。

由于自动化，从数据发现到数据管理、转换和洞察定制的所有内容都得到了完全简化。实际上，可以将数据以实时流的形式直接传输到预测算法，以便向用户尤其是消费者，提供实时的见解。

这种优化的数据集成过程可确保在数据发现和数据利用之间不会浪费时间。

持续交付

组织数据的价值取决于从中产生的见解。访问它的团队越多，从中提取的见解就越多。然而，数据可访问性也伴随着数据治理挑战。DataOps在整个组织内实施数据治理，同时使数据可访问性民主化并增强其安全性和隐私性。

数据以协作方式有目的地交付给内部和外部数据消费者，同时符合内部数据质量和数据屏蔽规则。通常，使用“智能”数据平台来实现这一目标。当数据的质量、隐私和安全得到保证时，各种利益相关者可以使用它来获得准确的见解，而不必担心数据治理的影响。

持续部署

数字企业依靠一系列数据驱动的应用程序来实时做出功能决策，这对组织的未来具有深远的影响。关键任务功能，如欺诈检测、AI(人工智能)聊天机器人、销售、供应链管理等，需要随时可用的新数据来进行决策。持续部署使所有用户都能无缝访问新数据。

2、DevOps对比DataOps

虽然DataOps借鉴了DevOps的知识和操作流程，但两者之间存在显著差异。列举如下：

人为因素

尽管DataOps参与者可能精通技术，但他们更专注于为数据用户创建算法、模型和视觉辅助工具。另一方面，DevOps参与者是具有操作思维的软件工程师。

流程

DataOps流程的特点是数据管道和分析开发编排，而DevOps流程几乎不涉及编排。

测试

与DevOps不同的是，DataOps严重依赖数据屏蔽来进行测试，因此，测试数据管理变得至关重要。此外，DataOps通常在部署之前在数据管道和分析开发过程中测试和验证数据。

工具

DevOps拥有成熟的工具生态系统，尤其是测试工具。DataOps是一种新方法，通常需要团队从头开始构建工具或根据其目的修改DevOps工具。

3、DataOps平台的演进

在数据分析的早期，ETL(提取、转换、加载)工具成为管理大量(相对而言)传入数据的强大工具。然而，随着传入数据的多样性、准确性和数量激增，对可扩展性和高速数据分析的需求变得更加迫切。数据连接器固有的缺陷也被证明是一个限制因素。

云的出现将解决数据摄取、管理和分析的挑战。当ETL工具与云资源结合时，它加快了分析速度。然而，一个日益严峻的挑战仍然存在——数据可访问性。仅仅使用数据来产生见解是不够的;每个人都应该能够获得这些见解。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。