课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
随着互联网的不断发展,越来越多的人都在通过自学或者参加达内培训来学习大数据技术,我们在前几期的文章中给大家简单介绍了大数据分析的一些基础知识,下面我们就再来了解一下,大数据开发与大数据架构技术区别都有哪些。
1、大数据开发
大数据开发偏重应用实现,注重服务器端开发、数据库开发、呈现与可视化人机交互等衔接数据载体和数据加工各个单元以及用户的功能落地与实现。
主要研究方向
数据库开发:RDBMS、NoSQL、MySQL、Hive等。
数据流工具开发:Flume、Heka、Fluentd、Kafka、ZMQ等。
数据前端开发:HightCharts、ECharts、JavaScript、D3、HTML5、CSS3等。
数据获取开发:爬虫、分词、自然语言学习、文本分类等。
2、大数据架构
大数据架构偏重基建和架构,更多注重的是Hadoop、Spark、Storm等大数据框架的实现原理、部署、调优和稳定性问题,以及它们与Flume、Kafka等数据流工具以及可视化工具结合技巧。再有就是一些工具的商业应用问题,如Hive、Cassandra、HBase、PrestoDB等。
能够将这些概念理解清楚,并能够用辩证的技术观点进行组合使用,达到软/硬件资源利用的大化,服务提供的稳定化,这是大数据架构人才的目标。
主要研究方向
架构理论:高并发、高可用、并行计算、MapReduce、Spark等
数据流应用:Flume、Fluentd、Kafka、ZeroMQ等
储存应用:HDFS、Ceph等
软件应用:Hive、HBase、Cassandra、PrestoDB等。
可视化应用:HightCharts、ECharts、D3、HTML5、CSS3等。
大数据架构师对架构层面、数据流层面、存储层面、软件应用层面等都需要做比较深入的理解和落地应用。
不难发现大数据开发和架构很多的关键关键词是重合的,但一个主要是开发,一个主要是对于各种大数据技术的加以应用。
开发更注重的是熟练掌握,快速实现,应用要求的是懂得各种大数据技术功能上的异同,并且在选择实现方式时候的方案和取舍。大家可以根据自己的情况进行细分,但在面试中是可以兼顾的。
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。