我是靠谱客的博主 迷你老师,最近开发中收集的这篇文章主要介绍Shell细小问题汇总查找特定端口运行的进程使用find查找文件grep查找文件内容if 多条件组合判断示例Linux系统时间设置在远程节点上推送命令时需要特别注意$!和$?sudo -i和su -l的差异分析关于 /var/run和pid文件测试参数汇总字符串测试参数汇总如何正确传递数组参数批量修改文件名配置163 yum repo的脚本关于">/dev/null 2>&1",“>&/dev/null”标准输入、输出和错误变量的字符串操作变量的字符串操作示例后台运行nohup…&条件测试:te,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

本文原文出处: http://blog.csdn.net/bluishglc/article/details/44276607 严禁任何形式的转载,否则将委托CSDN官方维护权益!

文章目录

  • 查找特定端口运行的进程
  • 使用find查找文件
  • grep查找文件内容
  • if 多条件组合判断示例
  • Linux系统时间设置
  • 在远程节点上推送命令时需要特别注意$!和$?
  • sudo -i和su -l的差异分析
  • 关于 /var/run和pid
  • 文件测试参数汇总
  • 字符串测试参数汇总
  • 如何正确传递数组参数
  • 批量修改文件名
  • 配置163 yum repo的脚本
  • 关于">/dev/null 2>&1",">&/dev/null"
  • 标准输入、输出和错误
  • 变量的字符串操作
  • 变量的字符串操作示例
  • 后台运行nohup...&
  • 条件测试:test,[ ]
  • 条件测试:(( ))
  • 预定义的变量
  • Windows换行符转换
  • wget mirror一个网站
  • wget mirror一个网站(通配部分文件)


查找特定端口运行的进程

# lsof -i TCP:53
COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
named   16885 named   20u  IPv4  61664      0t0  TCP localhost:domain (LISTEN)
# lsof -i UDP:53
COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
named   16885 named  512u  IPv4  61663      0t0  UDP localhost:domain
# lsof -i:53
named   16885 named   20u  IPv4  61664      0t0  TCP localhost:domain (LISTEN)
named   16885 named  512u  IPv4  61663      0t0  UDP localhost:domain

关于lsof的更多使用方法,参考: http://kumu-linux.github.io/blog/2013/04/08/lsof/

使用find查找文件

基本格式:find path expression

1.按照文件名查找

(1)find / -name httpd.conf  #在根目录下查找文件httpd.conf,表示在整个硬盘查找
(2)find /etc -name httpd.conf  #在/etc目录下文件httpd.conf
(3)find /etc -name ‘srm’  #使用通配符*(0或者任意多个)。表示在/etc目录下查找文件名中含有字符串‘srm’的文件
(4)find . -name ‘srm*’   #表示当前目录下查找文件名开头是字符串‘srm’的文件

2.按照文件特征查找

(1)find / -amin -10   # 查找在系统中最后10分钟访问的文件(access time)
(2)find / -atime -2   # 查找在系统中最后48小时访问的文件
(3)find / -empty   # 查找在系统中为空的文件或者文件夹
(4)find / -group cat   # 查找在系统中属于 group为cat的文件
(5)find / -mmin -5   # 查找在系统中最后5分钟里修改过的文件(modify time)
(6)find / -mtime -1   #查找在系统中最后24小时里修改过的文件
(7)find / -user fred   #查找在系统中属于fred这个用户的文件
(8)find / -size +10000c  #查找出大于10000000字节的文件(c:字节,w:双字,k:KB,M:MB,G:GB)
(9)find / -size -1000k   #查找出小于1000KB的文件

3.使用混合查找方式查找文件

参数有: !,-and(-a),-or(-o)。

(1)find /tmp -size +10000c -and -mtime +2   #在/tmp目录下查找大于10000字节并在最后
(2)find / -user fred -or -user george   #在/目录下查找用户是fred或者george的文件文件
(3)find /tmp ! -user panda  #在/tmp目录中查找所有不属于panda用户的文件

grep查找文件内容

基本格式:grep -r strToFind /target/dir

1.主要参数

-c:只输出匹配行的计数。
-i:不区分大小写
-h:查询多文件时不显示文件名。
-l:查询多文件时只输出包含匹配字符的文件名。
-n:显示匹配行及行号。
-s:不显示不存在或无匹配文本的错误信息。
-v:显示不包含匹配文本的所有行。

2.pattern正则表达式主要参数:
 
: 忽略正则表达式中特殊字符的原有含义。
^:匹配正则表达式的开始行。
$: 匹配正则表达式的结束行。
<:从匹配正则表达 式的行开始。
>:到匹配正则表达式的行结束。
[ ]:单个字符,如[A]即A符合要求 。
[ - ]:范围,如[A-Z],即A、B、C一直到Z都符合要求 。
.:所有的单个字符。

  • :有字符,长度可以为0。

3.实例

(1)grep ‘test’ d*  #显示所有以d开头的文件中包含 test的行
  (2)grep ‘test’ aa bb cc    #显示在aa,bb,cc文件中包含test的行
  (3)grep ‘[a-z]{5}’ aa   #显示所有包含每行字符串至少有5个连续小写字符的字符串的行
  (4)grep magic /usr/src  #显示/usr/src目录下的文件(不含子目录)包含magic的行
  (5)grep -r magic /usr/src  #显示/usr/src目录下的文件(包含子目录)包含magic的行
  (6)grep -w pattern files :只匹配整个单词,而不是字符串的一部分(如匹配’magic’,而不是’magical’)

if 多条件组合判断示例

if [ ! "$STARTUP_TARGET" = "all" -a ! "$STARTUP_TARGET" = "hadoop" -a ! "$STARTUP_TARGET" = "spark" ]
then
   echo "STARTUP_TARGET is invalid or not specified!"
   exit 1
fi

注意:对于if来说,后面紧跟的“[”实际上是test命令的别名!所以后续的表达式都是test命令的参数,所以才会需要:

  • "["右侧要加一个空格再跟参数
  • "="两侧都需要有空格

否则参数就连在了一起,变成了一个参数!


Linux系统时间设置

  1. 修改时区
    很多系统在安装时没有设置时区,这样很多系统默认就会使用统一协调时UTC来显示时间,使用date来查看一下输出时间就知道时区和时间是否正确了(如果是UTC表示是统一协调时,非本地时区,如果是CST表示中国标准时间,意味着时区已经正常)。通常,时间不正确多是只因为时区问题导致的,所以我们只需修改系统的时区就可以了,方法是把本地(中国上海)的时区文件覆盖到/etc/localtime即可:
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.修改ls -l的时间格式

vim /etc/profile.d/time_style.sh
add
export TIME_STYLE="+%F %T"

在远程节点上推送命令时需要特别注意$!和$?

ssh -T root@hdcoe01<<EOF
	su -l hive -c "nohup $HIVE_HOME/bin/hive --service metastore -hiveconf hive.log.file=hive-metastore.log 
	-hiveconf hive.log.dir=$HIVE_LOG_DIR>$HIVE_LOG_DIR/hive-metastore.out 2>$HIVE_LOG_DIR/hive-metastore.log &"
	su -l hive -c "echo $!|cat>$HIVE_PID_DIR/hive-metastore.pid"
EOF

上述脚本中$!的值永远是当前主机或者说是本地shell下上一次后台程序的PID,而不可能是前一次推送的hive --service metastore的PID!


sudo -i和su -l的差异分析

ssh -T root@$NAME_NODE<<EOF
sudo -i -u $HDFS_USER $HADOOP_HOME/bin/hdfs namenode -format -force
EOF
sudo: sorry, you must have a tty to run sudo

此错误需要通过visudo来修改相关配置,若改为:

ssh -T root@$NAME_NODE<<EOF
su -l $HDFS_USER -c "$HADOOP_HOME/bin/hdfs namenode -format -force"
EOF

则没有问题,总结起来:su -l要比sudo -i方便好用!

补充:虽然使用 su很方便,不过缺点是,当我的主机是多人共管的环境时,如果大家都要使用 su 来切换成为 root 的身份,那么每个人都得要知道 root 的口令,这样口令太多人知道可能会流出去,很不妥当呢!怎办?透过 sudo 来处理即可!相对于 su 需要了解新切换的用户口令 (常常是需要 root 的口令), sudo 的运行则仅需要自己的口令即可! 甚至可以配置不需要口令即可运行 sudo 呢!


关于 /var/run和pid

Well since /var/run is mounted as tmpfs. That means it’s totally empty when your machine boots and it’s meant to be like this to prevent stuff like daemons not starting because of a left-over PID-file.

Startup scripts usually create the directories they need before using them. If you want to store a PID-file either put it in /var/run directly or create a directory before creating the PID-file. This is no place to store data that needs to remain there across reboots.

  1. /var/run是linux约定应用程序存放pid文件的地方(现在大多数系统已经改为了/run,然后把/var/run改为软连接指向了/run),这并非是一个特殊的文件夹,linux也不会强制应用程序把PID放在这里,只是说这是一个“约定的,默认的”存放PID文件的位置!这个文件夹唯一特殊的地方在于:在当前大多数的Linux系统下,它被挂载为了tmpfs分区,这意味:只要系统重启,文件夹内的所有数据都会清空
  2. 首先我们需要明白:PID文件本身和Linux操作系统没有必然关系,它的产生和使用都是应用程序自已来负责的!一般来说,规范的应用程序在启动时会到指定的文件夹下查找自己的PID文件,如果文件存在说明程序正在运行中,就终止当前的启动程序,并给出提示信息!如果不存在,才继续进行启动。当程序关闭时,也会自己删除PID文件!当然,以上说的是“规范”的应用程序,有的程序并不一定按照这样的规范操作,这就需要具体情况具体分析了。

文件测试参数汇总


字符串测试参数汇总


如何正确传递数组参数

#!/bin/sh
t()
{
    nodeList="$1"
    echo ${nodeList[*]}
}
a=(1 2 3)
t ${a[*]}

输出: 1

#!/bin/sh
t()
{
    nodeList="$1"
    echo ${nodeList[*]}
}
a=(1 2 3)
t "${a[*]}"

输出: 1 2 3


批量修改文件名

比如:将/etc/yum.repos.d下的CentOS的yum repo文件统一添加bak后缀:

for i in $(ls CentOS-*); do mv $i $i.bak;done

配置163 yum repo的脚本

cd /etc/yum.repos.d
for i in $(ls CentOS-*); do mv $i $i.bak;done
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

关于">/dev/null 2>&1",“>&/dev/null”

id user >&/dev/null
if [$? != 0 ]
then
useradd -s /sbin/nologin $user
fi

上面是一段判断用户是否存在,如果不存在就添加用户的脚本,其中>&/dev/null 等同于 >/dev/null 2>&1 而>/dev/null 2>&1又等同于1>/dev/null 2>&1,它们的意思是一样的,即:将标准输出(也就是代表标准输出的文件1)重定向到/dev/null(即不打印标准输出信息),然后把标准错误输出(也就是代表标准错误输出的文件2)合并(也就是&符号的含义)重定向到标准输出,这样,最终达到的效果或者说是目地为:舍弃命令执行中输出的所有信息(不打印任何信息)!

在POSIX shell中,命令的结果可以通过%>的形式来定义(其中%表示文件描述符:1为标准输出stdout、2为标准错误stderr)!系统默认%值是1,也就是1>,而1>可以简写为>,也就是默认为>。

>&/dev/null这是对 >/dev/null 2>&1的一个缩写!


标准输入、输出和错误

当我们在shell中执行命令的时候,每个进程都和三个打开的文件相联系,并使用文件描述符来引用这些文件。由于文件描述符不容易记忆, shell同时也给出了相应的文件名。下面就是这些文件描述符及它们通常所对应的文件名:

文件文件描述符
输入文件—标准输入0
输出文件—标准输出1
错误输出文件—标准错误2
系统中实际上有12个文件描述符,但是正如我们在上表中所看到的, 0、1、2是标准输入、
输出和错误。可以任意使用文件描述符3到9。

变量的字符串操作


变量的字符串操作示例

file=/dir1/dir2/dir3/my.file.txt
我们可以用${}分别替换获得不同的值:

${file#*/}:拿掉第一条/及其左边的字符串:dir1/dir2/dir3/my.file.txt
${file##*/}:拿掉最后一条/及其左边的字符串:my.file.txt
${file#*.}:拿掉第一个.  及其左边的字符串:file.txt
${file##*.}:拿掉最后一个.  及其左边的字符串:txt
${file%/*}:拿掉最后条/及其右边的字符串:/dir1/dir2/dir3
${file%%/*}:拿掉第一条/及其右边的字符串:(空值)
${file%.*}:拿掉最后一个.  及其右边的字符串:/dir1/dir2/dir3/my.file
${file%%.*}:拿掉第一个.  及其右边的字符串:/dir1/dir2/dir3/my
${file:0:5}:提取最左边的5个字节:/dir1
${file:5:5}:提取第5个字节右边的连续5个字节:/dir2
${file/dir/path}:将第一个dir替换为path:/path1/dir2/dir3/my.file.txt
${file//dir/path}:将全部dir替换为path:/path1/path2/path3/my.file.txt

记忆的方法为:

#是去掉左边(在鉴盘上#在$之左边)
%是去掉右边(在鉴盘上%在$之右边)
单一符号是最小匹配﹔两个符号是最大匹配

后台运行nohup…&

Unix/Linux下一般比如想让某个程序在后台运行,很多都是使用& 在程序结尾来让程序自动运行。比如我们要运行mysql在后台:
/usr/local/mysql/bin/mysqld_safe --user=mysql &
但是加入我们很多程序并不象mysqld一样做成守护进程,可能我们的程序只是普通程序而已,一般这种程序使用& 结尾,但是如果终端关闭,那么程序也会被关闭。但是为了能够后台运行,那么我们就可以使用nohup这个命令,比如我们有个test.php需要在后台运 行,并且希望在后台能够定期运行,那么就使用nohup:
nohup /root/test.php &


条件测试:test,[ ]

shell中的测试条件有三种:test,[ ]以及(( ))。其中test和[ ]是等价的,"["实际上只是test命令的一个别名而已!这也是 [ 之后必须有空格的原因。因此将二者归为一类讨论。

[ ]

[ ]的测试对象有三种:

字符串 ,如[ -z str ]
数字,如[ n1 -lt n2 ]
文件,如[ -f filename ]

[ ]内的变量,最好用双引号包括; 中括号内的常量,最好用单引号或双引号包括,例如

if [ -z ${var} ]  #可能出错  
if [ -z "${var}" ]  #最好改成这样  

-a(与)和-o(或):进行多重条件的复合测试,如

if [ -n "${var}" -a "${var}" -lt 100 ] #当变量被定义且其值小于100时

取反测试!:对测试条件取反

if [ ! "$?" -eq "0" ]  #上一条命令返回值不等于0  

条件测试:(( ))

1.(( ))作测试条件用时其中可使用类C的数字测试条件,包括

< :小于
> :大于
<= :小于等于
>= :大于等于
== :等于
!= :不等于

2.经测试,(( ))中不能用-a,-o以及!等复合测试

3.(( ))除用作数值测试之外,还可用于变量自增减,如(( var++ ))


预定义的变量

Windows换行符转换

安装dos2unix:
yum -y install dos2unix
将当前文件夹下所有文件从windows换行符转换为unix换行符:

dos2unix -s *

wget mirror一个网站

wget --recursive --no-parent --no-directories --no-host-directories http://repo.mysql.com/yum/mysql-5.7-community/el/7/$(uname -m)/
 -P /tmp/mysql-repo

wget mirror一个网站(通配部分文件)

wget --recursive --no-parent --no-directories --no-host-directories http://repo.mysql.com/yum/mysql-5.7-community/el/7/$(uname -m)/ -A '*5.7.38*'
 -P /tmp/mysql-repo

最后

以上就是迷你老师为你收集整理的Shell细小问题汇总查找特定端口运行的进程使用find查找文件grep查找文件内容if 多条件组合判断示例Linux系统时间设置在远程节点上推送命令时需要特别注意$!和$?sudo -i和su -l的差异分析关于 /var/run和pid文件测试参数汇总字符串测试参数汇总如何正确传递数组参数批量修改文件名配置163 yum repo的脚本关于">/dev/null 2>&1",“>&/dev/null”标准输入、输出和错误变量的字符串操作变量的字符串操作示例后台运行nohup…&条件测试:te的全部内容,希望文章能够帮你解决Shell细小问题汇总查找特定端口运行的进程使用find查找文件grep查找文件内容if 多条件组合判断示例Linux系统时间设置在远程节点上推送命令时需要特别注意$!和$?sudo -i和su -l的差异分析关于 /var/run和pid文件测试参数汇总字符串测试参数汇总如何正确传递数组参数批量修改文件名配置163 yum repo的脚本关于">/dev/null 2>&1",“>&/dev/null”标准输入、输出和错误变量的字符串操作变量的字符串操作示例后台运行nohup…&条件测试:te所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(48)

评论列表共有 0 条评论

立即
投稿
返回
顶部