运维开发网

在Linux中获取递归包含在目录中的文件列表的最快方法是什么?

运维开发网 https://www.qedev.com 2020-06-09 16:39 出处:网络
我有一个目录,其中包含分布在文件夹层次结构中的数百万个文件.该目录存储在大型远程NFS文件系统中.我想尽快检索这些文件的列表.
我有一个目录,其中包含分布在文件夹层次结构中的数百万个文件.该目录存储在大型远程NFS文件系统中.我想尽快检索这些文件的列表.

是否有可能比找到更快. > LIST.TXT?哪些因素影响速度?我正在使用python,但只要速度快,任何解决方案都会使用.

Linux上,这对我来说是最快的.像这样使用(bash)globbing和printf:

printf "%s\n" directory/**/file
printf "%s\x00" directory/**/filename-with-special-characters | xargs -0 command

似乎要快得多

find directory -name file

要么

ls -1R directory | grep file

甚至,令人惊讶的是,

ls directory/**/file

这是一个本地文件系统:x86_64系统,SSD上的ext4文件系统,目录结构超过600,000个目录,其中包含多个文件.

0

精彩评论

暂无评论...
验证码 换一张
取 消