В связи с тем что чем больше обрабатываемый список (список ид загруженный в задаче по сбору информации) тем дольше происходит его обработка. На тестах было выявлено что напрмиер при списке в 2 мл ид, за 1 проход обрабатывается порядка 1000 ид, и менее 10 секунд при спсике в 8 мл ид за один проход обрабатывается около 500 ид и более 10 секунд.

Предлагаю добавить автоматическо пополнение списка из папки, с настраиваемым условием то есть при выборе этого пункта http://bohdash.com/s/6eb80

Появлятеся окно в котормо можно выбрать либо файл, либо папку с файлами, если же выбрана папка с файлами то можно настроить условия, например, если в списке ид стало меньше 1 мл ид то пополнить список загрузив 1 следующий файл. При этом нужно понимать какой файл уже был обработан и его больш ене брать в рамках этого парсинга.


Что это даст? Позволит экономить время, автоматизирует процесс обработки списков.

Сейчас получается приходится мониторитьи  переодически подливать спсики ид в задачу (тип парсинга информация о сообществахпользваотелях) порой забываешь что нужно пополнить файл и задача простаивает, а так можно автоматизировать процесс и выполнить задачу за более короткий срок, нежели загрузив все 100500 мл ид в задачу и ждать несколько месяцев пока она выполнится.