运维开发网

scp免密批量获取文件

运维开发网 https://www.qedev.com 2020-10-29 12:08 出处:51CTO 作者:loong576
在生产运维变更时,有时需要通过免密方式下载远程主机的文件或目录,这时可以使用expect和内部命令 spawn实现该需求。本文模拟通过scp免密获取远程主机指定路径下相关文件和目录至本地服务器。

前言:

​ 在生产运维变更时,有时需要通过免密方式下载远程主机的文件或目录,这时可以使用expect和内部命令 spawn实现该需求。本文模拟通过scp免密获取远程主机指定路径下相关文件和目录至本地服务器。

环境说明:

主机名 操作系统版本 ip expect version 备注
ansible-awx Centos 7.6.1810 172.27.34.51 5.45 本地服务器,获取文件至本地
client Centos 7.6.1810 172.27.34.85 / 远程主机

一、expect安装

[[email protected] ~]# which expect         
/usr/bin/which: no expect in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
[[email protected] ~]# yum -y install expect

scp免密批量获取文件

若没有expect命令,则需安装

二、构造测试文件和目录

[[email protected] product]# pwd
/root/product
[[email protected] product]# ll
总用量 4
-rwxr--r-- 1 root root 218 10月 28 14:23 file.sh
[[email protected] product]# more file.sh 
#!/bin/bash
#by loong576

#批量生成测试文件
for num in {1..5}
do
  dd if=/dev/zero of=myfile_$num.txt bs=1M count=10
done

#生成目录dir并将前3个文件移到该目录
mkdir dir
mv myfile_{1..3}.txt dir
[[email protected] product]# ./file.sh 
记录了10+0 的读入
记录了10+0 的写出
10485760字节(10 MB)已复制,0.0125638 秒,835 MB/秒
记录了10+0 的读入
记录了10+0 的写出
10485760字节(10 MB)已复制,0.0149011 秒,704 MB/秒
记录了10+0 的读入
记录了10+0 的写出
10485760字节(10 MB)已复制,0.0159792 秒,656 MB/秒
记录了10+0 的读入
记录了10+0 的写出
10485760字节(10 MB)已复制,0.0190673 秒,550 MB/秒
记录了10+0 的读入
记录了10+0 的写出
10485760字节(10 MB)已复制,0.0260948 秒,402 MB/秒
[[email protected] product]# ll
总用量 20484
drwxr-xr-x 2 root root       66 10月 28 15:25 dir
-rwxr--r-- 1 root root      218 10月 28 14:23 file.sh
-rw-r--r-- 1 root root 10485760 10月 28 15:25 myfile_4.txt
-rw-r--r-- 1 root root 10485760 10月 28 15:25 myfile_5.txt
[[email protected] product]# tree
.
├── dir
│   ├── myfile_1.txt
│   ├── myfile_2.txt
│   └── myfile_3.txt
├── file.sh
├── myfile_4.txt
└── myfile_5.txt

1 directory, 6 files

scp免密批量获取文件

在远程主机client的/root/product路径下,使用dd命令构造测试文件myfile_{1..5}.txt和目录dir,每个文件10M,其中1、2、3号文件在dir目录中。

三、免密脚本

1.scp.sh

[[email protected] files]# cd
[[email protected] ~]# cd scp
[[email protected] scp]# ll
总用量 8
-rwxr--r-- 1 root root 236 10月 28 15:21 scp_file_dir.sh
-rwxr--r-- 1 root root 501 10月 28 15:18 scp.sh
[[email protected] scp]# more scp.sh 
#!/usr/bin/expect
set timeout 10
set host [lindex $argv 0]
set username [lindex $argv 1]
set password [lindex $argv 2]
set file1 [lindex $argv 3]
set file2 [lindex $argv 4]
set dir [lindex $argv 5]
set local_path [lindex $argv 6]
set dest_path [lindex $argv 7]

spawn scp -r [email protected]$host:$dest_path/\{$file1,$file2,$dir\} $local_path
 expect {
 "(yes/no)?"
  {
    send "yes\n"
    expect "*assword:" { send "$password\n"}
  }
 "*assword:"
  {
    send "$password\n"
  }
}
expect "100%"
expect eof

一共8个参数

$argv 0:远程主机ip

$argv 1:连接远程主机的用户

$argv 2:连接远程主机的密码

$argv 3:要获取的文件名1

$argv 4:要获取的文件名2

$argv 5:要获取的目录名

$argv 6:获取文件保存的本地路径

$argv 7:远程主机文件所在路径

scp.sh为基础脚本,供后面的scp_file_dir.sh调用

2.scp_file_dir.sh

[[email protected] scp]# more scp_file_dir.sh 
#!/bin/bash

IP=172.27.34.85
USER=root
PASSWD=monitor123!
DEST1=myfile_4.txt
DEST2=myfile_5.txt
DEST3=dir
LOCAL_PATH=/tmp/files
DEST_PATH=/root/product

$HOME/scp/scp.sh   $IP $USER $PASSWD  $DEST1 $DEST2 $DEST3 $LOCAL_PATH  $DEST_PATH

根据实际情况填写对应的8个参数

四、运行测试

[[email protected] scp]# pwd
/root/scp
[[email protected] scp]# ll
总用量 8
-rwxr--r-- 1 root root 236 10月 28 15:21 scp_file_dir.sh
-rwxr--r-- 1 root root 501 10月 28 15:18 scp.sh
[[email protected] scp]# ./scp_file_dir.sh 
spawn scp -r [email protected]:/root/product/{myfile_4.txt,myfile_5.txt,dir} /tmp/files
[email protected]'s password: 
myfile_4.txt                                                                                                                                            100%   10MB  60.2MB/s   00:00    
myfile_5.txt                                                                                                                                            100%   10MB  58.9MB/s   00:00    
myfile_1.txt                                                                                                                                            100%   10MB  67.6MB/s   00:00    
myfile_2.txt                                                                                                                                            100%   10MB  62.8MB/s   00:00    
myfile_3.txt                                                                                                                                            100%   10MB  64.1MB/s   00:00    
[[email protected] scp]# cd /tmp
[[email protected] tmp]# cd files/
[[email protected] files]# tree 
.
├── dir
│   ├── myfile_1.txt
│   ├── myfile_2.txt
│   └── myfile_3.txt
├── myfile_4.txt
└── myfile_5.txt

1 directory, 5 files
[[email protected] files]# du -sm *
30      dir
10      myfile_4.txt
10      myfile_5.txt

scp免密批量获取文件

运行scp_file_dir.sh,免密获取相关文件和目录,下载至本地/tmp/files目录。

测试符合预期。

 

 

本文所有脚本和配置文件已上传github:scp-to-get-files-in-batch-without-secret

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号