プロジェクト

全般

プロフィール

編集 操作
リンクをコピー

操作問い合わせ #3763

未完了

ジョブネット内のJOBが起動されず、実行中状態のままとなる

匿名ユーザー さんが4ヶ月前に追加. 3ヶ月前に更新.

ステータス:
回答中
優先度:
高め
担当者:
-
開始日:
2025/02/20
引用

説明

サポートご担当者様
お世話になっております。

以下質問させていただきたく、何卒ご回答の程、よろしくお願いいたします。

■事象
JobArranger内のジョブネット実行時、後続JOBが起動されず、実行中のままとなってしまう事象が発生しております。

事象例
・ジョブネット：Aの中に　JOB：a、b、c、dの4JOBが存在し、a→b→c→dの状態で実行される。
・ジョブネット：Aが予定時間に稼働、a,bまでのJOBが実行（a,bのJOBログでは正常終了）したが、
　後続のJOB：cが起動せず、管理画面上、実行中の状態のままになっており、後続JOB以降が稼働しない。
　※アプリケーション側のログでは、JOB：C自体のログ自体が存在しておらず、JOBが実行されていないように見える。

■質問事項
①本事象の原因や回避策があれば、ご教示頂けますでしょうか。

②当事象が発生した場合、中断JOBからのJOB再実行の方法が不明のため、上記状態での中断箇所からのJOB再実行方法をご教示ください。
　・JobArrenger管理画面上では実行中のままとなっており、ジョブネットの強制停止を行っても該当箇所からの再実行ができない状態でした。
　　※再実行が押下不可能。異常終了状態では使用できる認識です。

■環境情報
・Job Arranger 6.1.1
・JAZサーバ： Amazon Linux(t3.large)
・バッチサーバ：AWS EC2 (Red Hat Enterprise Linux 8.10：c7i.24xlarge) × 2台
　　　　　Active-Stanby　（Active側でのみ、Jobを稼働させている状態）

ファイル

一括ダウンロード
JOBArrengerログ.ZIP (960 KB) JOBArrengerログ.ZIP 匿名ユーザー, 2025/03/07 15:32
jaz_process_20250228-0301.ZIP (1.52 MB) jaz_process_20250228-0301.ZIP 匿名ユーザー, 2025/03/07 15:36
JobArrangerログ.ZIP (1.1 MB) JobArrangerログ.ZIP 匿名ユーザー, 2025/03/14 10:47
Jaz_process.ZIP (1.44 MB) Jaz_process.ZIP 匿名ユーザー, 2025/03/14 10:47
JobArrengerログ.ZIP (1.18 MB) JobArrengerログ.ZIP 匿名ユーザー, 2025/03/18 11:00
Jaz_process.ZIP (850 KB) Jaz_process.ZIP 匿名ユーザー, 2025/03/18 11:00
操作
リンクをコピー
 #1

保守サポート 担当333 さんが4ヶ月前に更新

  • ステータス を 新規登録 から 担当者処理中 に変更
引用操作
リンクをコピー
 #2

保守サポート 担当333 さんが4ヶ月前に更新

  • ステータス を 担当者処理中 から 回答中 に変更

調査に伴い、サーバログとエージェントログを連携していただくことは可能でしょうか。

引用操作
リンクをコピー 一括ダウンロード
 #3

匿名ユーザー さんが4ヶ月前に更新

サポートご担当者様

以下のログを添付いたします。
・JobArranger_Agentd
・JobArranger_Server(ERPJZ012)

【JOBが起動しない問題が発生した時間：】
2025/3/1　5:45

中身を確認したのですが、該当時間のログが含まれておりませんでした（取得できない原因は不明: jobarg_server.log-20250302等20250302がファイル名についているファイルに記録されるはず）
※JOBArrengerログ.ZIP

また該当時間のログがなかったためサービスが止まっている可能性を鑑みてZabbixによるプロセス監視の状況を2/28 0:00 - 3/2 0:00を含めグラフ画像をおきました。
グラフを見る限り正常にプロセスは起動しているようにみえてはいますが、実際に当時間でJOB自体は起動されませんでした。（jaz_process_20250228-0301.ZIP）

引用操作
リンクをコピー 一括ダウンロード
 #4

匿名ユーザー さんが4ヶ月前に更新

表題の件、3/10 23:45起動のバッチ処理で再発したので、取得ログを送付します。
調査の程、よろしくお願いいたします。
・JobArranger_Agentd
・JobArranger_Server
・Jaz_process

23:46頃にエージェントログで以下出力されておりましたが、関係ありますでしょうか。
1393449:20250310:234616.905 [INFO] In ja_chk_job_begin(), job status check starts. jobid : 99977
1393449:20250310:234616.960 [INFO] In ja_chk_job_begin(), job information exists.jobid :99977, folder_type :5
2161:20250310:234617.125 [ERROR] In ja_jobfile_check_processexist(), executing process found. dir :/var/lib/jobarranger/tmp/end, filename:551833-20250310234616-0000.job
2161:20250310:234617.127 [ERROR] In ja_job_check_beginfile() jobid: 551833 Job process is already running. process id : 0. delete [/var/lib/jobarranger/tmp/begin/551833-20250310234616.job] file.
2161:20250310:234617.129 [INFO] In job_to_error() [551833-20250310234616.job] file and it's data files will be moved to error folder.
2161:20250310:234617.131 [INFO] In job_to_error() [551833-20250310234616*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/551833-20250310234616 folder.
2161:20250310:234617.134 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/551833-20250310234616] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250310:234617.136 [INFO] In job_to_error() move[551833-20250310234616.job] file from /var/lib/jobarranger/tmp/begin to /var/lib/jobarranger/tmp/error folder.
2161:20250310:234617.137 [WARN] [551833-20250310234616.job] ,along with the data files, are moved to error folder.
2161:20250310:234617.139 [WARN] In read_datafile(),data file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json], [size : -1] is empty.
2161:20250310:234617.140 [INFO] In job_to_error() [551833-20250310234616-0000.job] file and it's data files will be moved to error folder.
2161:20250310:234617.142 [INFO] In job_to_error() [551833-20250310234616-0000*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/551833-20250310234616-0000 folder.
2161:20250310:234617.144 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/551833-20250310234616-0000] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
2161:20250310:234617.146 [INFO] In job_to_error() move[551833-20250310234616-0000.job] file from /var/lib/jobarranger/tmp/end to /var/lib/jobarranger/tmp/error folder.
2161:20250310:234617.148 [WARN] [551833-20250310234616-0000.job] ,along with the data files, are moved to error folder.
2161:20250310:234617.151 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.153 [WARN] In read_datafile(),1 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.155 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.157 [WARN] In read_datafile(),2 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.159 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.160 [WARN] In read_datafile(),3 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.162 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.164 [WARN] In read_datafile(),4 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.166 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/551833-20250310234616.json].
2161:20250310:234617.168 [WARN] In read_datafile(),5 try : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json] file cannot be read.
2161:20250310:234617.170 [WARN] In write_data_file(), file cannot be read after writing file.file : [/var/lib/jobarranger/tmp/data/551833-20250310234616.json]

引用操作
リンクをコピー 一括ダウンロード
 #5

匿名ユーザー さんが3ヶ月前に更新

3/13 23:45にも再発しましたので、ログを送付します。
・JobArranger_Agentd
・JobArranger_Server
・Jaz_process

引用操作
リンクをコピー
 #6

匿名ユーザー さんが3ヶ月前に更新

本件、3月に入ってから高頻度で発生しており、対処に苦慮しておりますので、何卒調査の程、よろしくお願いいたします。

【2025年月の発生日】計　9件発生
・3/1 ・3/2 ・3/10 ・3/13　・3/17(2件発生）　・3/18 ・3/20 ・3/23

ログ（Agentd）を確認してみたところ、以下の状態となっているようです。

①下のINFOで作成したフォルダが、後続で読み込めずにWARNが発生している

2161:20250320:184647.282 [INFO] In job_to_error() [677416-20250320184646-0000*] files will be moved from [data] and [close] folders to /var/lib/jobarranger/tmp/error/677416-20250320184646-0000 folder.
  2161:20250320:184647.284 [WARN] In job_to_error() [/var/lib/jobarranger/tmp/close/677416-20250320184646-0000] folder does not exist. (縺昴��繧医≧縺ｪ繝輔ぃ繧､繝ｫ繧��ョ繧｣繝ｬ繧ｯ繝医Μ縺ｯ縺ゅｊ縺ｾ縺帙ｓ)
  2161:20250320:184647.285 [INFO] In job_to_error() move[677416-20250320184646-0000.job] file from /var/lib/jobarranger/tmp/end to /var/lib/jobarranger/tmp/error folder.
  2161:20250320:184647.287 [WARN] [677416-20250320184646-0000.job] ,along with the data files, are moved to error folder.

②フォルダが読み込めていないので、配下のファイルも読み込めていない模様（繰り返しリトライされている模様だが、読み込めていない）
2161:20250320:184647.291 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.292 [WARN] In read_datafile(),1 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.294 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.296 [WARN] In read_datafile(),2 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.298 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.299 [WARN] In read_datafile(),3 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.301 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.303 [WARN] In read_datafile(),4 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.304 [WARN] In read_json_data(), cannot parse json head. data[{ "sendretry": 0, "kind": "", "version": 0.000000, "serverid": "", "hostname": "", "data": { "type": "", "method": -1, "script": "", "argument": { }, "env": { }, "run_user": "", "run_user_password": "", "jobid": "0", "jobstatus": -1, "pid": 0, "message": "", "cur_unique_id": "", "pre_unique_id": "", "hostname": "batch.eder.local", "result": 0, "std_out": "", "std_err": "", "return_code": -1, "signal": 0 } }]. file [/var/lib/jobarranger/tmp/data/677416-20250320184646.json].
2161:20250320:184647.306 [WARN] In read_datafile(),5 try : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json] file cannot be read.
2161:20250320:184647.308 [WARN] In write_data_file(), file cannot be read after writing file.file : [/var/lib/jobarranger/tmp/data/677416-20250320184646.json]

原因/回避策あればご教示ください。

編集 操作
リンクをコピー

他の形式にエクスポート: Atom PDF