操作問い合わせ #3763
openジョブネット内のJOBが起動されず、実行中状態のままとなる
Description
サポートご担当者様
お世話になっております。
以下質問させていただきたく、何卒ご回答の程、よろしくお願いいたします。
■事象
JobArranger内のジョブネット実行時、後続JOBが起動されず、実行中のままとなってしまう事象が発生しております。
事象例
・ジョブネット：Aの中に JOB：a、b、c、dの4JOBが存在し、a→b→c→dの状態で実行される。
・ジョブネット：Aが予定時間に稼働、a,bまでのJOBが実行（a,bのJOBログでは正常終了）したが、
後続のJOB：cが起動せず、管理画面上、実行中の状態のままになっており、後続JOB以降が稼働しない。
※アプリケーション側のログでは、JOB：C自体のログ自体が存在しておらず、JOBが実行されていないように見える。
■質問事項
①本事象の原因や回避策があれば、ご教示頂けますでしょうか。
②当事象が発生した場合、中断JOBからのJOB再実行の方法が不明のため、上記状態での中断箇所からのJOB再実行方法をご教示ください。
・JobArrenger管理画面上では実行中のままとなっており、ジョブネットの強制停止を行っても該当箇所からの再実行ができない状態でした。
※再実行が押下不可能。異常終了状態では使用できる認識です。
■環境情報
・Job Arranger 6.1.1
・JAZサーバ： Amazon Linux(t3.large)
・バッチサーバ：AWS EC2 (Red Hat Enterprise Linux 8.10：c7i.24xlarge) × 2台
Active-Stanby （Active側でのみ、Jobを稼働させている状態）
Files
Updated by 保守サポート 担当333 15 days ago
- Status changed from 担当者処理中 to 回答中
調査に伴い、サーバログとエージェントログを連携していただくことは可能でしょうか。
Updated by Anonymous 13 days ago
- File JOBArrengerログ.ZIP JOBArrengerログ.ZIP added
- File jaz_process_20250228-0301.ZIP jaz_process_20250228-0301.ZIP added
サポートご担当者様
以下のログを添付いたします。
・JobArranger_Agentd
・JobArranger_Server(ERPJZ012)
【JOBが起動しない問題が発生した時間：】
2025/3/1 5:45
中身を確認したのですが、該当時間のログが含まれておりませんでした（取得できない原因は不明: jobarg_server.log-20250302等20250302がファイル名についているファイルに記録されるはず）
※JOBArrengerログ.ZIP
また該当時間のログがなかったためサービスが止まっている可能性を鑑みてZabbixによるプロセス監視の状況を2/28 0:00 - 3/2 0:00を含めグラフ画像をおきました。
グラフを見る限り正常にプロセスは起動しているようにみえてはいますが、実際に当時間でJOB自体は起動されませんでした。（jaz_process_20250228-0301.ZIP）
Updated by Anonymous 7 days ago
- File JobArrangerログ.ZIP JobArrangerログ.ZIP added
- File Jaz_process.ZIP Jaz_process.ZIP added
表題の件、3/10 23:45起動のバッチ処理で再発したので、取得ログを送付します。
調査の程、よろしくお願いいたします。
・JobArranger_Agentd
・JobArranger_Server
・Jaz_process
23:46頃にエージェントログで以下出力されておりましたが、関係ありますでしょうか。
1393449:20250310:234616.905 [INFO] In ja_chk_job_begin(), job status check starts. jobid : 99977
1393449:20250310:234616.960 [INFO] In ja_chk_job_begin(), job information exists.jobid :99977, folder_type :5
2161:20250310:234617.125 [ERROR] In ja_jobfile_check_processexist(), executing process found. dir :/var/lib/jobarranger/tmp/end, filename:551833-20250310234616-0000.job
2161:20250310:234617.127 [ERROR] In ja_job_check_beginfile() jobid: 551833 Job process is already running. process id : 0. delete [/var/lib/jobarranger/tmp/begin/551833-20250310234616.job] file.
2161:20250310:234617.129 [INFO] In job_to_error() [551833-20250310234616.job] file and it's data files will be moved to error folder.
2161:20250310:234617.131 [INFO] In job_to_error() [551833-20250310234616*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/551833-20250310234616 folder.
2161:20250310:234617.134 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/551833-20250310234616] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250310:234617.136 [INFO] In job_to_error() move[551833-20250310234616.job] file from /var/lib/jobarranger/tmp/begin to /var/lib/jobarranger/tmp/error folder.
2161:20250310:234617.137 [WARN] [551833-20250310234616.job] ,along with the data files, are moved to error folder.
2161:20250310:234617.139 [WARN] In read_datafile(),data file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json], [size : -1] is empty.
2161:20250310:234617.140 [INFO] In job_to_error() [551833-20250310234616-0000.job] file and it's data files will be moved to error folder.
2161:20250310:234617.142 [INFO] In job_to_error() [551833-20250310234616-0000*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/551833-20250310234616-0000 folder.
2161:20250310:234617.144 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/551833-20250310234616-0000] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250310:234617.146 [INFO] In job_to_error() move[551833-20250310234616-0000.job] file from /var/lib/jobarranger/tmp/end to /var/lib/jobarranger/tmp/error folder.
2161:20250310:234617.148 [WARN] [551833-20250310234616-0000.job] ,along with the data files, are moved to error folder.
2161:20250310:234617.151 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.153 [WARN] In read_datafile(),1 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.155 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.157 [WARN] In read_datafile(),2 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.159 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.160 [WARN] In read_datafile(),3 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.162 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.164 [WARN] In read_datafile(),4 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.166 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.168 [WARN] In read_datafile(),5 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.170 [WARN] In write_data_file(), file cannot be read after writing file.file : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json]
Updated by Anonymous 3 days ago
- File JobArrengerログ.ZIP JobArrengerログ.ZIP added
- File Jaz_process.ZIP Jaz_process.ZIP added
3/13 23:45にも再発しましたので、ログを送付します。
・JobArranger_Agentd
・JobArranger_Server
・Jaz_process