Ресурсы, применяемые YARN, не активны. Будут ли они использоваться другими заданиями?

avatar
chen amos
9 августа 2021 в 02:31
36
1
0

Я запускаю искровое задание, выделяющее много ресурсов в пряже, и задание длится долго.

В последней задаче искрового задания активны только одно ядро ​​и два ядра.

Я хочу знать, что неактивный ресурс может использоваться другим заданием Spark или Mr.

Или просто завершено первое задание искры, ресурс может быть использован другим заданием.

Источник

Ответы (1)

avatar
ankush1377
13 сентября 2021 в 05:14
1

Зависит от вашей политики очередей и планировщика, указанного для каждой очереди.

Я предполагаю, что у вас есть только одна очередь по умолчанию (корневая), в которую отправляются все ваши задания. В этом случае планировщик по умолчанию является планировщиком FIFO, который отправит новое задание только после завершения ранее отправленного задания.

Если это не так, вы можете проверить свою очередь и указанный планировщик в файле etc/hadoop/capacity-scheduler.xml.

Дополнительная информация о двух типах планировщиков

https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html