操作問い合わせ #3763
openジョブネット内のJOBが起動されず、実行中状態のままとなる
Added by Anonymous 10 months ago. Updated 13 days ago.
Description
サポートご担当者様
お世話になっております。
以下質問させていただきたく、何卒ご回答の程、よろしくお願いいたします。
■事象
JobArranger内のジョブネット実行時、後続JOBが起動されず、実行中のままとなってしまう事象が発生しております。
事象例
・ジョブネット：Aの中に JOB：a、b、c、dの4JOBが存在し、a→b→c→dの状態で実行される。
・ジョブネット：Aが予定時間に稼働、a,bまでのJOBが実行（a,bのJOBログでは正常終了）したが、
後続のJOB：cが起動せず、管理画面上、実行中の状態のままになっており、後続JOB以降が稼働しない。
※アプリケーション側のログでは、JOB：C自体のログ自体が存在しておらず、JOBが実行されていないように見える。
■質問事項
①本事象の原因や回避策があれば、ご教示頂けますでしょうか。
②当事象が発生した場合、中断JOBからのJOB再実行の方法が不明のため、上記状態での中断箇所からのJOB再実行方法をご教示ください。
・JobArrenger管理画面上では実行中のままとなっており、ジョブネットの強制停止を行っても該当箇所からの再実行ができない状態でした。
※再実行が押下不可能。異常終了状態では使用できる認識です。
■環境情報
・Job Arranger 6.1.1
・JAZサーバ： Amazon Linux(t3.large)
・バッチサーバ：AWS EC2 (Red Hat Enterprise Linux 8.10：c7i.24xlarge) × 2台
Active-Stanby （Active側でのみ、Jobを稼働させている状態）
Files
| JOBArrengerログ.ZIP (960 KB) JOBArrengerログ.ZIP | Anonymous, 03/07/2025 03:32 PM | ||
| jaz_process_20250228-0301.ZIP (1.52 MB) jaz_process_20250228-0301.ZIP | Anonymous, 03/07/2025 03:36 PM | ||
| JobArrangerログ.ZIP (1.1 MB) JobArrangerログ.ZIP | Anonymous, 03/14/2025 10:47 AM | ||
| Jaz_process.ZIP (1.44 MB) Jaz_process.ZIP | Anonymous, 03/14/2025 10:47 AM | ||
| JobArrengerログ.ZIP (1.18 MB) JobArrengerログ.ZIP | Anonymous, 03/18/2025 11:00 AM | ||
| Jaz_process.ZIP (850 KB) Jaz_process.ZIP | Anonymous, 03/18/2025 11:00 AM |
Updated by Anonymous 9 months ago
- File JOBArrengerログ.ZIP JOBArrengerログ.ZIP added
- File jaz_process_20250228-0301.ZIP jaz_process_20250228-0301.ZIP added
サポートご担当者様
以下のログを添付いたします。
・JobArranger_Agentd
・JobArranger_Server(ERPJZ012)
【JOBが起動しない問題が発生した時間：】
2025/3/1 5:45
中身を確認したのですが、該当時間のログが含まれておりませんでした（取得できない原因は不明: jobarg_server.log-20250302等20250302がファイル名についているファイルに記録されるはず）
※JOBArrengerログ.ZIP
また該当時間のログがなかったためサービスが止まっている可能性を鑑みてZabbixによるプロセス監視の状況を2/28 0:00 - 3/2 0:00を含めグラフ画像をおきました。
グラフを見る限り正常にプロセスは起動しているようにみえてはいますが、実際に当時間でJOB自体は起動されませんでした。（jaz_process_20250228-0301.ZIP）
Updated by Anonymous 9 months ago
- File JobArrangerログ.ZIP JobArrangerログ.ZIP added
- File Jaz_process.ZIP Jaz_process.ZIP added
表題の件、3/10 23:45起動のバッチ処理で再発したので、取得ログを送付します。
調査の程、よろしくお願いいたします。
・JobArranger_Agentd
・JobArranger_Server
・Jaz_process
23:46頃にエージェントログで以下出力されておりましたが、関係ありますでしょうか。
1393449:20250310:234616.905 [INFO] In ja_chk_job_begin(), job status check starts. jobid : 99977
1393449:20250310:234616.960 [INFO] In ja_chk_job_begin(), job information exists.jobid :99977, folder_type :5
2161:20250310:234617.125 [ERROR] In ja_jobfile_check_processexist(), executing process found. dir :/var/lib/jobarranger/tmp/end, filename:551833-20250310234616-0000.job
2161:20250310:234617.127 [ERROR] In ja_job_check_beginfile() jobid: 551833 Job process is already running. process id : 0. delete [/var/lib/jobarranger/tmp/begin/551833-20250310234616.job] file.
2161:20250310:234617.129 [INFO] In job_to_error() [551833-20250310234616.job] file and it's data files will be moved to error folder.
2161:20250310:234617.131 [INFO] In job_to_error() [551833-20250310234616*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/551833-20250310234616 folder.
2161:20250310:234617.134 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/551833-20250310234616] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250310:234617.136 [INFO] In job_to_error() move[551833-20250310234616.job] file from /var/lib/jobarranger/tmp/begin to /var/lib/jobarranger/tmp/error folder.
2161:20250310:234617.137 [WARN] [551833-20250310234616.job] ,along with the data files, are moved to error folder.
2161:20250310:234617.139 [WARN] In read_datafile(),data file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json], [size : -1] is empty.
2161:20250310:234617.140 [INFO] In job_to_error() [551833-20250310234616-0000.job] file and it's data files will be moved to error folder.
2161:20250310:234617.142 [INFO] In job_to_error() [551833-20250310234616-0000*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/551833-20250310234616-0000 folder.
2161:20250310:234617.144 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/551833-20250310234616-0000] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250310:234617.146 [INFO] In job_to_error() move[551833-20250310234616-0000.job] file from /var/lib/jobarranger/tmp/end to /var/lib/jobarranger/tmp/error folder.
2161:20250310:234617.148 [WARN] [551833-20250310234616-0000.job] ,along with the data files, are moved to error folder.
2161:20250310:234617.151 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.153 [WARN] In read_datafile(),1 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.155 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.157 [WARN] In read_datafile(),2 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.159 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.160 [WARN] In read_datafile(),3 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.162 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.164 [WARN] In read_datafile(),4 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.166 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.168 [WARN] In read_datafile(),5 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.170 [WARN] In write_data_file(), file cannot be read after writing file.file : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json]
Updated by Anonymous 9 months ago
- File JobArrengerログ.ZIP JobArrengerログ.ZIP added
- File Jaz_process.ZIP Jaz_process.ZIP added
3/13 23:45にも再発しましたので、ログを送付します。
・JobArranger_Agentd
・JobArranger_Server
・Jaz_process
Updated by Anonymous 9 months ago
本件、3月に入ってから高頻度で発生しており、対処に苦慮しておりますので、何卒調査の程、よろしくお願いいたします。
【2025年月の発生日】計 9件発生
・3/1 ・3/2 ・3/10 ・3/13 ・3/17(2件発生） ・3/18 ・3/20 ・3/23
ログ（Agentd）を確認してみたところ、以下の状態となっているようです。
①下のINFOで作成したフォルダが、後続で読み込めずにWARNが発生している
2161:20250320:184647.282 [INFO] In job_to_error() [677416-20250320184646-0000*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/677416-20250320184646-0000 folder.
2161:20250320:184647.284 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/677416-20250320184646-0000] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250320:184647.285 [INFO] In job_to_error() move[677416-20250320184646-0000.job] file from /var/lib/jobarranger/tmp/end to /var/lib/jobarranger/tmp/error folder.
2161:20250320:184647.287 [WARN] [677416-20250320184646-0000.job] ,along with the data files, are moved to error folder.②フォルダが読み込めていないので、配下のファイルも読み込めていない模様（繰り返しリトライされている模様だが、読み込めていない）
2161:20250320:184647.291 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.292 [WARN] In read_datafile(),1 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.294 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.296 [WARN] In read_datafile(),2 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.298 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.299 [WARN] In read_datafile(),3 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.301 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.303 [WARN] In read_datafile(),4 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.304 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.306 [WARN] In read_datafile(),5 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.308 [WARN] In write_data_file(), file cannot be read after writing file.file : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json]
原因/回避策あればご教示ください。
Updated by 保守サポート 担当360 6 months ago
- Status changed from 回答中 to 担当者処理中
- Assignee set to 保守サポート 担当360
申し訳ありません。チケット更新を拾えていなかったようです。
遅ればせながら開発担当者に連携させていただきましたので、回答まで今しばらくお待ちください
Updated by 保守サポート 担当360 6 months ago
- Status changed from 担当者処理中 to 回答中
- Assignee deleted (
保守サポート 担当360)
回答が遅くなりましたこと、お詫び申し上げます。
1393449:20250310:234616.841 [INFO] In ja_chk_job_begin(), job status check starts. jobid : 551833
1393447:20250310:234616.844 [INFO] In ja_agent_begin(),jobid: 551833, method: 0 is begin
こちらのエージェントログによりますと、本件の根本原因は、エージェントが「ジョブ実行（job run）」リクエストより先に
「ジョブ確認（check job）」リクエストを受信したことです。
現在利用可能な回避策はありませんが、本件については積極的に対応中であり、今後のバージョンで修正を含める予定です。
すぐの解決とならずご不便おかけいたしますが、ご理解よろしくお願いいたします。
Updated by 保守サポート 担当360 5 months ago
- Status changed from 回答中 to 担当者処理中
①本事象の原因や回避策があれば、ご教示頂けますでしょうか。
実行画面にまだ表示されているJobnet IDをご提供いただけますでしょうか？
一時的な対応策として使用できるクエリをご案内させていただきます。
Updated by 保守サポート 担当360 13 days ago
本件ご状況いかがでしょうか？
引き続きサポートが必要でしたら、チケットの更新をお願いします。
2週間以上更新がないようでしたら、本チケットはクローズさせていただきますので、よろしくお願いいたします。