运维开发网

Linux bash多线程/处理小型工作

运维开发网 https://www.qedev.com 2020-05-31 12:46 出处:网络
我有一个运行一些数据处理命令10K次的脚本. foreach f (folderName/input*.txt) mycmd $f
我有一个运行一些数据处理命令10K次的脚本.

foreach f (folderName/input*.txt)
  mycmd $f
end

我已经为每个“mycmd $f”定时运行时间为0.25秒.

通过10K运行,它总计超过1小时.

我在16核nehalem上运行它.

如果不在剩余的15个核心上运行,那将是一个巨大的浪费.

我试过&有了睡眠,不知何故,脚本会在3900次迭代时死于警告或错误,见下文.睡眠时间越短,死亡的速度越快.

foreach f (folderName/input*.txt)
  mycmd $f & ; sleep 0.1
end

必须有一个更好的方法.

注意:我更喜欢shell脚本解决方案,让我们不要徘徊在C/C++领域.

谢谢

问候

将文件列表传递给

xargs -n 1 -P 16 mycmd

例如:

echo folderName/input*.txt | xargs -n 1 -P 16 mycmd

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号