linux系统下命令的学习 在文件中找出重复的行Linux中使用gzip来压缩/解压 *.gz文件

本博客是本人工作时做的笔记

linux查看文件大小：

具体可查看：https://www.cnblogs.com/flyingeagle/articles/9219106.html 

du /mnt/hegh/project/ --max-depth=1 -h
　　

 从一台电脑上复制文件到另一台电脑上：

scp GCF_*fna.gz
dev.ttjbz.com:/mnt/hegh/project/8.26/test/prokka/fa_fies

 

Linux提交任务样本

：echo "sh create_taxonomy_db.sh -d ../database/ncbi_taxonomy/" > qsub_tax_db.sh
qsub -cwd -l vf=500M,p=1 qsub_tax_db.sh 
qsub -cwd -l vf=60G,p=1 -V -S /bin/bash   filter_map.sh
可以使用qsub -help查看参数， -V -S 带入环境

 

Linux将命令添加到PATH中

1、直接在命令行中设置PATH
# PATH=$PATH:/usr/local/apache/bin
使用这种方法,只对当前会话有效，也就是说每当登出或注销系统以后，PATH设置就会失效。
2、在profile中设置PATH
# vi /etc/profile
找到export行，在下面新增加一行，内容为：export PATH=$PATH:/usr/local/apache/bin。
注：＝ 等号两边不能有任何空格。这种方法最好,除非手动强制修改PATH的值,否则将不会被改变。
编辑/etc/profile后PATH的修改不会立马生效，如果需要立即生效的话，可以执行# source profile命令。
3、在当前用户的profile中设置PATH
# vi ~/.bash_profile
修改PATH行,把/usr/local/apache/bin添加进去,如：PATH=$PATH:$HOME/bin:/usr/local/apache/bin。
# source ~/.bash_profile

 

需要给与文件执行：

chmod 755 fqextract.c

 

                     

查看以前用的指令

history |less -S

 

显示文件结尾：

tail -f refdb.*

 

ll -rt

下载的文件安装：

一般用make就可解决

 

 

转链接：

ln -s bin/gt（需要转链接的路径） ./（转到的路径）

 

读文件的大小：

du -h --max-depth=1 ./

 查看文件的中某个字符串额个数：

grep ">" viruses-5-2019.fa -c

 

 

 查看压缩文件的中某个字符串额个数：

zgrep ">"
viruses-5-2019.fa.gz |wc -l

less viruses-5-2019.fa.gz |grep ">" -c

 

 

Linux uniq 命令

Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。

uniq 可检查文本文件中重复出现的行列。

语法

uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

参数：

• -c或--count 在每列旁边显示该行重复出现的次数。
• -d或--repeated 仅显示重复出现的行列。
• -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。
• -s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。
• -u或--unique 仅显示出一次的行列。
• -w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。
• --help 显示帮助。
• --version 显示版本信息。
• [输入文件] 指定已排序好的文本文件。如果不指定此项，则从标准读取数据；
• [输出文件] 指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）

• 在文件中找出重复的行

• $ sort testfile1 | uniq -d

  统计各行在文件中出现的次数

• sort testfile1 | uniq -c
  
  

  过滤文本中第一列相同的数据后计算数量
  
  cut -f 1 read_name.txt
  |sort |uniq |wc -l

   

   

Linux中使用gzip来压缩/解压 *.gz文件

NAME
gzip, gunzip, zcat - compress or expand files
SYNOPSIS
gzip [ -acdfhklLnNrtvV19 ] [--rsyncable] [-S suffix] [ name ... ]
gunzip [ -acfhklLnNrtvV ] [-S suffix] [ name ... ]
zcat [ -fhLV ] [ name ... ]
OPTIONS
-c --stdout --to-stdout 结果写到标准输出，原文件保持不变
-d --decompress --uncompress 解压
-k --keep 压缩或者解压过程中，保留原文件
-r --recursive
-t --test 检查压缩文件的完整性
-v --verbose 显示每个文件的名子和压缩率
-# --fast --best 取值从-1(最快)到-9(最好)，默认是-6
示例1，压缩文件
原文件名为file1.txt，压缩后原文件消失，压缩后文件名为file1.txt.gz
root@ubuntu:/tmp# ls -l file1.*
-rw-r--r-- 1 root root 12383865 Aug 21 08:08 file1.txt
root@ubuntu:/tmp# gzip file1.txt
root@ubuntu:/tmp# ls -l file1.*
-rw-r--r-- 1 root root 134416 Aug 21 08:08 file1.txt.gz
示例2，解压文件
root@ubuntu:/tmp# gzip -d file1.txt.gz
root@ubuntu:/tmp# ls -lh file1.*
-rw-r--r-- 1 root root 12M Aug 21 08:08 file1.txt
示例3，压缩的时候，显示压缩率
root@ubuntu:/tmp# gzip -v file1.txt
file1.txt: 98.9% -- replaced with file1.txt.gz
示例4，一条命令压缩多个文件，压缩之后，是各自分开的：
root@ubuntu:/tmp# gzip file1.txt file2.txt
root@ubuntu:/tmp# ls -l
total 1348
-rw-r--r-- 1 root root 134416 Aug 21 08:08 file1.txt.gz
-rw-r--r-- 1 root root 392 Aug 21 08:15 file2.txt.gz
示例5，压缩过程中，保留原文件
root@ubuntu:/tmp# gzip -k file1.txt
root@ubuntu:/tmp# ls file1.*
file1.txt file1.txt.gz
示例6，压缩到标准输出中
可以连接两个文件
root@ubuntu:/tmp# cat file1.txt file2.txt | gzip > foo.gz
或者
root@ubuntu:/tmp# gzip -c file1.txt file2.txt > foo.gz

 

 

 

Linux下常见的压缩包格式有5种:zip tar.gz tar.bz2 tar.xz tar.Z

其中tar是种打包格式,gz和bz2等后缀才是指代压缩方式:gzip和bzip2

 

filename.zip的解压:

unzip filename.zip

 

filename.tar.gz的解压:

tar -zxvf filename.tar.gz

其中zxvf含义分别如下

z: 　　gzip  　　　　　　　　    压缩格式

x: 　　extract　　　　　　　　  解压

v:　　 verbose　　　　　　　　详细信息

f: 　　file(file=archieve)　　　　文件

 

filename.tar.bz2的解压:

tar -jxvf filename.tar.bz2

j: 　　bzip2　　　　　　　　　 压缩格式

其它选项和tar.gz解压含义相同

 

filename.tar.xz的解压: 

tar -Jxvf filename.tar.xz

注意J大写

 

filename.tar.Z的解压: 

tar -Zxvf filename.tar.Z

注意Z大写

 

关于tar的详细命令可以

tar --help

 

事实上, 从1.15版本开始tar就可以自动识别压缩的格式,故不需人为区分压缩格式就能正确解压

tar -xvf filename.tar.gz
tar -xvf filename.tar.bz2
tar -xvf filename.tar.xz
tar -xvf filename.tar.Z