wget递归下载ftp内容,用户或密码中含有@。

2016-6-24 寒川

@符号原本分隔用户信息和主机信息,当用户或密码中含有@时就不能直接wget,得以参数形式。

比如:

wget -r -c ftp://user:pass@host

改为:

wget -r -c ftp://host --ftp-user=user --ftp-password=pass


标签: linux ftp wget

评论(6) 浏览(4599)

记超大网站迁移数据文件

2014-3-29 寒川 计算机

超大网站迁移数据文件,常规方法压缩文件,然后到目标服务器wget下载压缩的文件。解压即可。

最近遇到一特郁闷的事情,网站大约几十个G的内容,图片啊程序啊缓存文件啊,由于硬盘只有100G,压缩的时候硬盘就直接爆盘了。我了个去,看来只能分别少少的压缩,然后再wget。这其实是不错的方法。还有一种方法,个人觉得可行,只是估计时间要得非常长,好在服务器下载和上传速度都给力,或许几小时就搞定了。方法就是直接在目标服务器wget被转移文件,采用ftp方式下载。


wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r  

-r 参数表示递归下载;
可以使用--directory-prefix=/mypath/ 指定下载后存储路径;-nH选项可以不在本地创建服务器上的目录结构
另一个令人迷惑的选项是--delete-after,它并不是用来删除服务器上的已下载文件,而是用来删除本机的;

wget之所以是wget而不是wput,它只能进行下载操作,不支持对ftp服务器上的任何写操作,比如删除。


还有一个用scp命令,可以完成。


scp 本地用户名 @IP 地址 : 文件名 1 远程用户名 @IP 地址 : 文件名 2 
[ 本地用户名 @IP 地址 :] 可以不输入 , 可能需要输入远程用户名所对应的密码 . 

可能有用的几个参数 : 

-v 和大多数 linux 命令中的 -v 意思一样 , 用来显示进度 . 可以用来查看连接 , 认证 , 或是配置错误 . 

-C 使能压缩选项 . 

-P 选择端口 . 注意 -p 已经被 rcp 使用 . 

-4 强行使用 IPV4 地址 . 

-6 强行使用 IPV6 地址 .

 

注意两点:
1.如果远程服务器防火墙有特殊限制,scp便要走特殊端口,具体用什么端口视情况而定,命令格式如下:
#scp -p 4588 remote@www.abc.com:/usr/local/sin.sh /home/administrator
2.使用scp要注意所使用的用户是否具有可读取远程服务器相应文件的权限。
 



标签: ftp wget

评论(0) 浏览(6635)

Powered by emlog 蜀ICP备12030225号

川公网安备 51042102000001号

sitemap