linux与大数据(大数据)

2025-1-10

这篇文章给大家聊聊关于linux与大数据，以及大数据对应的知识点，希望对各位有所帮助，不要忘了收藏本站哦。

大数据怎么样需要学习什么知识

大数据是目前和今后的热门技术，前途看好。

学习大数据要根据自身情况来定，如果你是零基础，那就必须先从基础Java开始学起（大数据支持很多开发语言，但企业用的最多的还是JAVA），接下来学习数据结构、Linux系统操作、关系型数据库，夯实基础之后，再进入大数据的学习，具体可以按照如下体系：

第一阶段

CORE JAVA（加**的需重点熟练掌握，其他掌握）

Java基础**

数据类型，运算符、循环，算法，顺序结构程序设计，程序结构，数组及多维数组

面向对象**

构造方法、控制符、封装

继承**

多态**

抽象类、接口**

常用类

集合Collection、list**

HashSet、TreeSet、Collection

集合类Map**

异常，File

文件/流**

数据流和对象流**

线程（理解即可）

网络通信（理解即可）

第二阶段

数据结构

关系型数据库

Linux系统操作

Linux操作系统概述，安装Linux操作系统，图形界面操作基础，Linux字符界面基础，字符界面操作进阶，用户、组群和权限管理，文件系统管理，软件包管理与系统备份，Linux网络配置（主要掌握Linux操作系统的理论基础和服务器配置实践知识，同时通过大量实验，着重培养动手能力。了解Linux操作系统在行业中的重要地位和广泛的使用范围。在学习Linux的基础上，加深对服务器操作系统的认识和实践配置能力。加深对计算机网络基础知识的理解，并在实践中加以应用。掌握Linux操作系统的安装、命令行操作、用户管理、磁盘管理、文件系统管理、软件包管理、进程管理、系统监测和系统故障排除。掌握Linux操作系统的网络配置、DNS、DHCP、HTTP、FTP、SMTP和POP3服务的配置与管理。为更深一步学习其它网络操作系统和软件系统开发奠定坚实的基础。与此同时，如果大家有时间把javaweb及框架学习一番，会让你的大数据学习更自由一些）

重点掌握：

常见算法

数据库表设计，SQL语句，Linux常见命令

第三阶段

Hadoop阶段

离线分析阶段

实时计算阶段

重点掌握：

Hadoop基础，HDFS，MapReduce，分布式集群，Hive，Hbase，Sqoop

，Pig，Storm实时数据处理平台，Spark平台

以上就是笔者总结学习阶段，如果还想了解更多的知识，还可以关注一些如“大数据cn”这类公众号，建议每个想要学习大数据的人，按照这个学习阶段循序渐进，不断完善自己的知识架构，提升自身的理论知识，然后找一个合适的项目，跟着团队去做项目，积累自己的经验，相信会在大数据的舞台上展现出很好的自己！

2、请讨论大数据平台搭建在windows中还是搭建在linux中更好

linux更好

因为：Linux做为开源免费的操作系统，也有些优点是Windows无论如何也赶不上的。

1.不用花钱

正版的Windows系统是要花钱购买的，而且价钱还不低（买笔记本带Windows系统其实系统钱是包含在里面的）。而Linux是开源免费的，任何人不用花钱都可以下载使用，而且有多个发行版可供选择。

2.稳定性/流畅度高

使用Windows系统时不时会出现卡顿，不稳定的问题，但Linux不会。选择一个好的发行版做为个人电脑系统使用的话一般不会出现卡顿的情况。而且Windows系统长时间使用的话要重启一下，不然可能就没有开机时流畅了。

在Windows中由于空间不够用都会安装一款清理垃圾文件的软件，Windows系统本身会占用很大的空间，随便安装几个软件系统盘也许就满了。但在Linux中一般不需要，因为Linux系统本身不会占用多大的磁盘空间，安装软件也都是规范的位置，系统临时目录重启时会自动清理，不会占用大量的磁盘空间。

在我的使用体验中，Linux的流畅度是比Windows高的。比如我使用的编程软件IDEA，同一台电脑同一块硬盘，在Windows上打开一个项目要3到5秒，但在Linux（Ubuntu18.04）中打开同一个项目只要不到1秒。

4.安全性高

在Windows系统中是一定要安装杀毒软件的。就算你不安装，Windows系统自带的也会启动。但在Linux中不用，因为Linux是一个有严格权限控制的系统，平常使用的时候一般不会使用root用户，就算有恶意脚本也不至于对系统造成大破坏。而且Linux的病毒数量也极少。

5.可定制性高

由于Linux系统是开源的，所以每个人都可以下载其源代码进行定制。就算是已经存在的发行版桌面环境也都是可以换的。如果你有能力，可以把Linux系统改的它亲爹都不认识。

6.性能高

Linux的开发都可能比使用者还要多，这就意味着Linux从内核到软件都是经过多次的优化的。性能高自然也是不奇怪。这个性能不仅表现在软件性能，现在还表现在游戏性能上，我在同一台电脑上在Windows系统中玩我的世界不限制帧率能跑800多帧，但在Linux里面使用同一个显卡，加载同一个游戏，同一个场景，能跑1000多帧。