一共运行N个job，其中M个随时并行运行
•浏览 1
Run a total of N jobs, having M of them running in parallel at any time
我有很多作业要运行，假设是 100 个。它们可以并行运行，但每个都占用大量内存，所以我只能同时运行 8 个。
我目前有这个 shell 脚本：
(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u
(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u
...parallel --max-procs 8 <<EOF
python run.py $arg1
python run.py $arg2
python run.py $arg3
..
EOF
cat args.list | parallel --max-procs 8 python run.py
import multiprocessing
def main(args):
# Here's where you would do what you usually do with the arguments
pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()这有运行第一批8个的效果，当它们都完成后，它开始下一批8个。问题是每个作业的运行时间不是恒定的，有些比其他作业更早完成，因此，对于要完成的每批 8 个进行加权并不是最佳选择，因为我实际上是在等待 8 个中最慢的一个完成。
相反，我想要一个脚本(shell 或 python)来运行我所有的 100 个作业，在任何给定时间并行运行 8 个作业，以实现最佳效率。
有什么想法可以实现吗？
您可以编写自己的小型调度程序，将它们分配给已完成当前任务的处理器；但在我们的中心，我们强烈建议使用 gnu 并行，它已经使用类似 xargs 的语法实现了这一点。
例如，如上所述，您可以这样做
(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u
(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u
...parallel --max-procs 8 <<EOF
python run.py $arg1
python run.py $arg2
python run.py $arg3
..
EOF
cat args.list | parallel --max-procs 8 python run.py
import multiprocessing
def main(args):
# Here's where you would do what you usually do with the arguments
pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()或者，如果你在一个文件中有你的参数列表，你可以做类似
(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u
(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u
...parallel --max-procs 8 <<EOF
python run.py $arg1
python run.py $arg2
python run.py $arg3
..
EOF
cat args.list | parallel --max-procs 8 python run.py
import multiprocessing
def main(args):
# Here's where you would do what you usually do with the arguments
pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()根据您的需要，您可以使用许多工具。最简单的可能是使用 GNU parallel。 make 可以与其 -j 开关并行运行任务。如果您尝试运行的任务更加复杂和多样化，那么真正的排队系统可能会有所帮助，例如队列博士。还有更多工具，GNU parallel\\ 的手册页很好地列出了它们。
在我看来，您正在寻找 multiprocessing 模块，特别是 multiprocessing.Pool。
如果我这样做，我会将所有不同的参数集提供给 run.py，将您现在在顶层执行的操作package在 main(args) 函数中的 run.py 中，然后使用 Pool\\'s map 方法在所有不同的参数集上调用该方法。
它可能看起来像这样：
(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u
(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u
...parallel --max-procs 8 <<EOF
python run.py $arg1
python run.py $arg2
python run.py $arg3
..
EOF
cat args.list | parallel --max-procs 8 python run.py
import multiprocessing
def main(args):
# Here's where you would do what you usually do with the arguments
pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()请注意，这假定每次运行的参数都可以保存在一个字符串中(因此 sys.argv 的一个条目)。
为什么不使用 DataStage 自己的 Workload Management？定义 M 个队列并将您的 N 个作业循环分配到这些队列中。