Linux，虚拟机安装，Linux简单命令，Linux文件类型和命令，大数据使用的软件

Linux虚拟机安装

• 下载CentOS.ios镜像文件
• 安装vmware
• 安装Linux
• 初步配置
• 克隆
• 完善配置

设置IP

• vi /etc/syscomfig/network-scripts/ifcfg-eth0
• 删除UUID和MAC地址
• ONBOOT=yes，BOOTPROTO=static，按a切换输入模式
• IPADDR、NETMASK和GATEWAY在VM中”编辑>虚拟网络编辑器”
• DNS1=114.114.114.114，DNS2=8.8.8.8
• 按Esc退出输入模式，输入”:wq”，:wq保存并退出
• rm -fr /etc/udev/rules.d/70-persistent-net.rules，删除70-persistent-net.rules文件，不删除此文件，虚拟机在克隆的时候：1.文件被带到新的虚拟机中，2.vm变更了新的虚拟机的mac地址，3.新机器不能使用eth0接口，4.你网络配置不起作用

克隆

• 关机，拍摄快照
• 每一台虚拟机都要配置IP，配置主机名
• 配置主机名 – vi /etc/sysconfig/network，更改HOSTNAME
• 还可配置hosts，- vi /etc/hosts

Linux简单命令

• /boot：系统启动相关的文件，
• /dev：设备文件
• /etc：配置文件
• /home：用户的家文件
• /root：管理员的家目录
• /lib：库文件：没有执行入口的应用程序
• /media：挂载点目录，移动设备
• /mnt：挂载点目录，额外的临时文件系统
• /opt：可选目录，第三方程序的安装目录
• /proc：伪文件系统，内核映射文件
• /sys：伪文件系统，跟硬件设备相关的属性映射文件
• /tmp：临时文件，/var/tmp
• /var：可变化的文件
• /bin：可执行文件，用户命令
• /sbin：管理命令

文件类型

• -：普通文件
• d：目录文件
• b：块设备文件block
• c：字符设备文件character
• l：符号链接文件symbolic link file
• p：命令管道文件pipe
• s：套接字文件socket
• 文件权限：9位，每三位一组（U用户，G组，O其他用户），rwx（读写执行）
• 文件硬链接的次数
• 文件的属主
• 文件的属组
• 文件大小，单位字节

文件系统简单命令

• df：显示磁盘使用情况，df -h
• du：显示文件系统使用情况，du -sh，du -a
• ls：显示目录，ls -alhrt
• cd：切换工作目录，cd ~，cd /
• pwd：显示当前工作目录
• mkdir：创建目录
• rm：删除，rm -f，rm -rf，加上-r删除文件夹
• cp：拷贝，cp /etc/
• mv：移动
• ln：链接，默认硬链接，-s软链接
• stat：元数据
• touch：文件存在，刷新访问时间，没有创建文件
• cat：查看，-more，-less，-head，-tail，都是查看
• |：管道，完成命令直接的数据传递，如cat b | head -3，b文件内容作为右边head输入。shell读取用户输入的字符串，发现 |，代表管道，| 左右被理解为简单命令。
• xargs：它擅长将标准输入数据转换成命令行参数

大数据简介

• 大数据：对海量数据的分析、挖掘、计算的技术。由麦肯锡全球研究所提出大数据这一概念。
• 数据单位：bit Byte KB MB GB TB PB EB IB YB BB NB DB，达到PB就达到大数据范畴了。
• 特点：Volume大量、Velovity高速(获取和分析)、Variety多样、Value价值
• 数据结构分为结构化、半结构化、非结构化。结构化简单说就是数据库，由二维表结构来逻辑表达和实现的数据；非结构化：数据结构不规则或不完整。大数据处理的数据几乎都是非结构化数据。

大数据目前使用的软件

• 开发语言：scala、Java、Python
• 分布式存储：Hdfs、Hbase、Redis、Mongedb
• 分布式计算：Mapreducer、SparkCore、SparkSreaming、Storm、Ffink
• 数据仓库技术: Hive、Sqoop、Flume、Spark
• 机器学习： Scikit=learn、MLlib
  大数据的第一天，继续努力…

文章知识点与官方知识档案匹配，可进一步学习相关知识CS入门技能树Linux进阶新增用户25061 人正在系统学习中

来源：伟红-long-term