大数据 计算机技术,大数据计算机技术

摘要： 大家好，今天小编关注到一个比较有意思的话题，就是关于大数据 计算机技术的问题，于是小编就整理了2个相关介绍大数据 计算机技术的解答，让我们一起看看吧。五分钟看懂大数据技术？大数据专...

大家好，今天小编关注到一个比较有意思的话题，就是关于大数据 计算机技术的问题，于是小编就整理了2个相关介绍大数据 计算机技术的解答，让我们一起看看吧。

1. 五分钟看懂大数据技术？
2. 大数据专业和计算机专业有什么区别？

五分钟看懂大数据技术？

      大数据技术涉及：数据的***集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。

      对于大数据技术，应用广泛的是以hadoop和spark为核心的生态系统。hadoop提供一个稳定的共享存储和分析系统，存储由hdfs实现，分析由mapreduce实现， 

1、hdfs：Hadoop分布式文件系统，运行与大型商用机集群

    hdfs是gfs的开源实现，提供了在廉价服务器集群中进行大规模分布式文件存储的能力。

2、hbase：分布式的列存储数据库。hbase将hdfs作为底层存储，同时支持mapreduce的批量计算和点查询（随机读取）

        hbase是一个建立在hdfs之上，面向列的nosql数据库。它可用于快速读写大量数据，是一个高可靠、高并发读写、高性能、面向列、可伸缩和易构建的分布式存储系统。hbase具有海量数据存储、快速随机访问和大量写操作等特点。

    在kudu出现之前，hadoop生态环境的存储主要依赖hdfs和hbase。在追求高吞吐、批处理的场景中，使用hdfs,在追求低延时且随机读取的场景中，使用hbase,而kudu正好能兼容这两者。

3、批处理计算的基石：mapreduce

      批处理计算主要解决大规模数据的批量处理问题，是日常数据分析中常见的一类数据处理需求。业界常用的大数据批处理框架有mapreduce\spark\tez\pig等。其中mapdeduce是比较有影响力和代表性的大数据批处理计算框架。它可以并发执行大规模数据处理任务，即用于大规模数据集（大于1tb）的并行计算。mapreduce的核心思想：将一个大数据集拆分成多个小数据集，然后在多台机器上并行处理。

4、hive:分布式数据仓库，管理hdfs中存储的数据，并提供基于sql的查询语言用于查询数据

大数据专业和计算机专业有什么区别？

感谢诚邀！首先严谨一点说，大数据专业是指“数据科学与大数据技术”，而且今天说的计算机专业，也是提指“计算机类”专业。以下简要说明二者的区别与关系：

一、计算机类属于工学的0809，是大类，还可以细分，其中901的计算机科学与技术，是计算机类专业的鼻祖。其它的902至910都是2000年以后细分增设的。详细专业如下：

二、计算机科学与技术，国内最早开设的高校是清华大学的电子计算机专业1956年、北京大学1955年的计算数学专业；1956年交通大学（上交前身）也支援电子电气类13人去清华大学（与清华的电子电气类、机械电子类抽取的15名）共同27人组建新专业电子计算机，原***是1958提毕业，但当时由于国家需要，就1957毕业了，同时交通大学也派出5人赴北京计算机训练班【中科院计算所举办】学习，因56、57年学校西迁，学成学员落户西安。1957年4月17日，教育部批准交通大学（西安）增设电子计算机专业。

三、真正的大数据专业——数据科学与大数据技术，是2016年教育部第一批新增三所大学，分别是北京大学、对外经济贸易大学、中南大学；2017年新增在32所、到2018年新增248所，其计283所。

四、关于数据科学与大数据技术专业，早于2016年前，中南大学于2015年就进行过试点招生：计算机科学与技术（大数据方向）。且中南大学有医疗方面的***，标志性事件：2017年“医疗大数据应用技术国家工程实验室（中南大学）”揭牌，标志“医疗大数据应用技术国家工程实验室（中南大学）”建设正式启动。

五、虽然数据科学与大数据技术开设的院校比较多，但报考时，依然得参考计算机科学与技术专业强势的院校，其中有两个区域，顺便要说一下，山西、贵州，山西有百度的百度云基地、贵州呢，近两年大数据比较抢眼，苹果数据中心、华为数据中心，这两省的同学，如果不出省门，相对来说会有相关的实践基础，本身大数据是计算机科学、数学、统计学的交叉学科。实践性也特别强。

以上是我关于两个专业的分析也说明，有不同意见的在下方留言讨论。

到此，以上就是小编对于大数据 计算机技术的问题就介绍到这了，希望介绍关于大数据 计算机技术的2点解答对大家有用。