大数据常用技术梳理

大数据的就业方向:

大数据常用技术梳理

大数据应用流程中每个环节相关的技术介绍

大数据常用技术梳理

大数据常用技术梳理

名称 内容
Linuxl 基本命令:cd、ll、ls、pwd、cp、
shell 基本命令:cd、ll、ls、pwd、cp、
python 怎么连接数据库,完成基本的增、删、改、查
python读取文件和向文件中写数据
shell中怎么调用python、调用python脚本时怎么传递参数
hadoop hadoop常用命令梳理
hadoop fs -ls 等等
hive shell中怎么调用hive,调用hive传递参数
hive常见的建表语句
impala shell中怎么调用impala,调用impala传递参数
sqoop sqoop工具的使用

集群上各种软件安装

软件名称 软件版本 下载地址 安装教程链接地址
jdk 1.8
mysql 5.7
hadoop 2.7
hive
sqoop
spark

一、Shell语言

第一天

Linux基本操作命令

1.Shell语言

Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。
Shell 既是一种命令语言,又是一种程序设计语言。

2.Shell脚本

Shell 脚本(shell script),是一种为 shell 编写的脚本程序,一般文件后缀为 .sh。
业界所说的 shell 通常都是指 shell 脚本,但 shell 和 shell script 是两个不同的概念。

3.Shell环境

Shell 编程跟 java、php、python 编程一样,只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Shell 的解释器种类众多,常见的有:
sh – 即 Bourne Shell。sh 是 Unix 标准默认的 shell。
bash – 即 Bourne Again Shell。bash 是 Linux 标准默认的 shell。
fish – 智能和用户友好的命令行 shell。
xiki – 使 shell 控制台更友好,更强大。
zsh – 功能强大的 shell 与脚本语言。
本教程关注的是 Bash,也就是 Bourne Again Shell,由于易用和免费,Bash 在日常工作中被广泛使用。同时,Bash 也是大多数Linux 系统默认的 Shell。
在一般情况下,人们并不区分 Bourne Shell 和 Bourne Again Shell,所以,像 #!/bin/sh,它同样也可以改为 #!/bin/bash。
#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序。

4.指定脚本解释器

在 shell 脚本,#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 解释器。#! 被称作shebang(也称为 Hashbang )。
所以,你应该会在 shell 中,见到诸如以下的注释:
指定 sh 解释器

指定 bash 解释器

5.echo

echo 用于字符串的输出。类似于Java或者python中的print()

6.注释

注释可以说明你的代码是什么作用,以及为什么这样写。
shell 语法中,注释是特殊的语句,会被 shell 解释器忽略。
单行注释 – 以 # 开头,到行尾结束。
多行注释 – 以 :<<EOF 开头,到 EOF 结束。

7.第一个shell脚本

8.shell脚本的执行

在当前目录下执行

在其他路径下执行

9.变量

定义变量时,变量名不加美元符号($,PHP语言中变量需要)

注意:

变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则:

命名只能使用英文字母,数字和下划线,首个字符不能以数字开头。
中间不能有空格,可以使用下划线 _。
不能使用标点符号。
不能使用bash里的关键字(可用help命令查看保留关键字)。

除了显式地直接赋值,还可以用语句给变量赋值,如:

以上语句将 /root 下目录的文件名循环出来。

使用变量:

使用一个定义过的变量,只要在变量名前面加美元符号即可,如:

仔细看上面的两种写法:第一种是不加大括号的,第二种是加大括号的
平时是这两种写法都行,除了下面的这种场景

推荐给所有变量加上花括号,这是个好的编程习惯。
已定义的变量,可以被重新定义,这种写法经常用哈,注意(尤其是在if else语句中)

10.传递参数

我们可以在执行 Shell 脚本时,向脚本传递参数,脚本内获取参数的格式为:$n。n 代表一个数字,0 为执行的文件名(包含文件路径),1 为执行脚本的第一个参数,2 为执行脚本的第二个参数,以此类推……

参数 参数说明 重要程度
$# 传递到脚本的参数个数 一般
$* 以一个单字符串显示所有向脚本传递的参数。如”$*“用「”」括起来的情况、以”$1 $2 … $n”的形式输出所有参数。 一般
$$ 脚本运行的当前进程ID号 重要
$! 后台运行的最后一个进程的ID号 熟悉
$@ 相 同 , 但 是 使 用 时 加 引 号 , 并 在 引 号 中 返 回 每 个 参 数 。 如 ” *相同,但是使用时加引号,并在引号中返回每个参数。如” /span>使@“用「”」括起来的情况、以”$1″ “ 2 ” … ” 2″ … ” 2n” 的形式输出所有参数。 一般
$- 显示Shell使用的当前选项,与set命令功能相同。 一般
$/td> 显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误。 重要

day3.sh脚本代码

error.py脚本的代码

来源:呼伦贝尔-钢蛋儿

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年11月23日
下一篇 2021年11月23日

相关推荐