その他問い合わせ #3606
closedjobnetが終了しない
Description
お世話になっております。
9/10 05:30稼働のジョブネットがタイムアウトしてから終了せずに残り続けております。
Managerから終了処理を実行いたしましたが、状態変わらない模様です。
Serverログを確認すると下記が断続的に出力されており、ジョブを停止しているように見受けられます。復旧にあたってどういった対応をすればよろしいかご教示いただけますでしょうか。
48503:20210911:084740.825 [INFO] [JAJOBNET000001] In jajobnet_kill() jobnet was forced to stop. inner_jobnet_id: 1080698, jobnet_id: p_sf_nim008_jn001, user_name: P_SF_NIM008
48503:20210911:084740.826 [INFO] [JAJOBNET000002] In jajobnet_kill() inner_jobnet_id: 1080698, ready_cnt: 0, run_cnt: 1
■jobarg_get結果
- jobarg_get -z *** -U Admin -P zabbix -r 1080698 -e
export JA_JOBNETID="p_sf_nim008_jn001"
export JA_JOBNETNAME="s_sf_nim008_CUBIC連携ファイル取込バッチ"
export JA_SCHEDULEDTIME="202109100530"
export JA_STARTTIME="20210910053001"
export JA_ENDTIME="0"
export JA_JOBNETRUNTYPE="NORMAL"
export JA_JOBNETSTATUS="RUN"
export JA_JOBSTATUS="TIMEOUT"
export JA_LASTEXITCD=""
export JA_LASTSTDOUT=""
export JA_LASTSTDERR=""
・ ja_run_jobnet_table-------------------------------------+--------------+----------------+---------------------+----------+-----------+--------------+--------+----------------+----------------+----------+-------------+-------------------+-------------------+-------------+----------------------------------------------------+------+------------------+----------------------+-----------+---------------------+---------------------------+------------------+--------------+--------------------+------------------+------------------------+
| inner_jobnet_id | inner_jobnet_main_id | inner_job_id | update_date | created_date | run_type | main_flag | timeout_flag | status | scheduled_time | start_time | end_time | public_flag | multiple_start_up | jobnet_id | user_name | jobnet_name | memo | schedule_id | calendar_id | boot_time | execution_user_name | running_job_id | running_job_name | virtual_time | virtual_start_time | virtual_end_time | initial_scheduled_time |-------------------------------------+--------------+----------------+---------------------+----------+-----------+--------------+--------+----------------+----------------+----------+-------------+-------------------+-------------------+-------------+----------------------------------------------------+------+------------------+----------------------+-----------+---------------------+---------------------------+------------------+--------------+--------------------+------------------+------------------------+
| 1080698 | 1080698 | 0 | 20200124142121 | 2021-09-10 07:50:14 | 0 | 0 | 0 | 5 | 202109100530 | 20210910053001 | 0 | 0 | 0 | p_sf_nim008_jn001 | P_SF_NIM008 | s_sf_nim008_CUBIC連携ファイル取込バッチ | | p_sf_nim008_s001 | pub_s_sf_nim000_c001 | 0530 | P_SF_NIM008 | p_sf_nim008_jn001/FCOPY-1 | | 0 | 0 | 0 | 202109100530 |-------------------------------------+--------------+----------------+---------------------+----------+-----------+--------------+--------+----------------+----------------+----------+-------------+-------------------+-------------------+-------------+----------------------------------------------------+------+------------------+----------------------+-----------+---------------------+---------------------------+------------------+--------------+--------------------+------------------+------------------------+
・ja_run_jobnet_summary_table-------------------------------+---------------------+-----------+----------+--------+------------+-------------------+-------------+----------------+----------------+----------+-------------+-------------------+-------------------+-------------+----------------------------------------------------+------+------------------+----------------------+-----------+---------------------+---------------------------+------------------+--------------+--------------------+------------------+--------------------+------------------------+----------------+------------------+---------------------+
| inner_jobnet_id | update_date | created_date | invo_flag | run_type | status | job_status | jobnet_abort_flag | load_status | scheduled_time | start_time | end_time | public_flag | multiple_start_up | jobnet_id | user_name | jobnet_name | memo | schedule_id | calendar_id | boot_time | execution_user_name | running_job_id | running_job_name | virtual_time | virtual_start_time | virtual_end_time | start_pending_flag | initial_scheduled_time | jobnet_timeout | timeout_run_type | jobnet_timeout_flag |-------------------------------+---------------------+-----------+----------+--------+------------+-------------------+-------------+----------------+----------------+----------+-------------+-------------------+-------------------+-------------+----------------------------------------------------+------+------------------+----------------------+-----------+---------------------+---------------------------+------------------+--------------+--------------------+------------------+--------------------+------------------------+----------------+------------------+---------------------+
| 1080698 | 20200124142121 | 2021-09-10 07:50:13 | 1 | 0 | 2 | 1 | 1 | 0 | 202109100530 | 20210910053001 | 0 | 0 | 0 | p_sf_nim008_jn001 | P_SF_NIM008 | s_sf_nim008_CUBIC連携ファイル取込バッチ | | p_sf_nim008_s001 | pub_s_sf_nim000_c001 | 0530 | P_SF_NIM008 | p_sf_nim008_jn001/FCOPY-1 | | 0 | 0 | 0 | 0 | 202109100530 | 140 | 1 | 1 |-------------------------------+---------------------+-----------+----------+--------+------------+-------------------+-------------+----------------+----------------+----------+-------------+-------------------+-------------------+-------------+----------------------------------------------------+------+------------------+----------------------+-----------+---------------------+---------------------------+------------------+--------------+--------------------+------------------+--------------------+------------------------+----------------+------------------+---------------------+
・ja_run_job_table-----------------------------+----------------------+----------------------+---------------------+-----------+----------+-----------+-------------+------------+--------------+--------+------------+-----------+----------------+----------------+---------+---------+------------------------+-----------------------------------+---------------+----------+-------------------+
| inner_job_id | inner_jobnet_id | inner_jobnet_main_id | inner_job_id_fs_link | created_date | invo_flag | job_type | test_flag | method_flag | force_flag | timeout_flag | status | boot_count | end_count | start_time | end_time | point_x | point_y | job_id | job_name | continue_flag | run_user | run_user_password |-----------------------------+----------------------+----------------------+---------------------+-----------+----------+-----------+-------------+------------+--------------+--------+------------+-----------+----------------+----------------+---------+---------+------------------------+-----------------------------------+---------------+----------+-------------------+
| 9031418 | 1080698 | 1080698 | 0 | 2021-09-10 05:30:19 | 0 | 14 | 0 | 0 | 0 | 0 | 2 | 1 | 1 | 20210910053019 | 0 | 170 | 273 | FCOPY-1 | | 0 | | |
| 9031421 | 1080698 | 1080698 | 0 | 2021-09-10 05:30:18 | 0 | 2 | 0 | 0 | 0 | 0 | 3 | 1 | 1 | 20210910053018 | 20210910053018 | 171 | 218 | IF-1 | | 0 | | |
| 9031419 | 1080698 | 1080698 | 0 | 2021-09-10 05:30:18 | 0 | 15 | 0 | 0 | 0 | 0 | 3 | 1 | 1 | 20210910053016 | 20210910053018 | 170 | 165 | FWAIT-1 | ファイル存在チェック | 0 | | |
| 9031424 | 1080698 | 1080698 | 0 | 2021-09-10 05:30:15 | 0 | 8 | 0 | 0 | 0 | 0 | 3 | 2 | 1 | 20210910053015 | 20210910053015 | 196 | 77 | LOOP-1 | | 0 | | |
| 9031413 | 1080698 | 1080698 | 0 | 2021-09-10 05:30:16 | 0 | 10 | 0 | 0 | 0 | 0 | 3 | 1 | 1 | 20210910053015 | 20210910053016 | 168 | 119 | COUNT | | 0 | | |
| 9031425 | 1080698 | 1080698 | 0 | 2021-09-10 05:30:07 | 0 | 0 | 0 | 0 | 0 | 0 | 3 | 0 | 0 | 20210910053006 | 20210910053007 | 171 | 35 | START | | 0 | | |
| 9031426 | 1080698 | 1080698 | 9031427 | 2021-09-10 04:30:32 | 0 | 4 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 170 | 332 | p_sf_nim008_jn001_j001 | | 0 | | |
| 9031428 | 1080698 | 1080698 | 9031429 | 2021-09-10 04:30:32 | 0 | 4 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 169 | 384 | p_sf_nim008_jn001_j002 | | 0 | | |
| 9031414 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 172 | 537 | END-1 | | 0 | | |
| 9031415 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 424 | 276 | END-2 | | 0 | | |
| 9031416 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 287 | 487 | END-3 | | 0 | | |
| 9031417 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 9 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 300 | 218 | EXTJOB-1 | | 0 | | |
| 9031420 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 15 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 171 | 436 | FWAIT-2 | コピー後元ファイル削除 | 0 | | |
| 9031422 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 2 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 424 | 217 | IF-2 | | 0 | | |
| 9031423 | 1080698 | 1080698 | 0 | 2021-09-10 04:30:32 | 0 | 2 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 171 | 486 | IF-3 | | 0 | | |-----------------------------+----------------------+----------------------+---------------------+-----------+----------+-----------+-------------+------------+--------------+--------+------------+-----------+----------------+----------------+---------+---------+------------------------+-----------------------------------+---------------+----------+-------------------+
----------------------------------+----------------------+--------------+----------------+-------------+---------------+------------+----------+-------------+-------------------+----------------------------------------------------+---------+--------------------------------+-------------+-------------+---------+---------+------------+
| log_date | inner_jobnet_id | inner_jobnet_main_id | inner_job_id | update_date | method_flag | jobnet_status | job_status | run_type | public_flag | jobnet_id | jobnet_name | job_id | job_name | user_name | return_code | std_out | std_err | message_id |----------------------------------+----------------------+--------------+----------------+-------------+---------------+------------+----------+-------------+-------------------+----------------------------------------------------+---------+--------------------------------+-------------+-------------+---------+---------+------------+
| 20210910053001175 | 1080698 | 1080698 | NULL | 20200124142121 | 0 | 1 | NULL | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | NULL | NULL | P_SF_NIM008 | NULL | NULL | NULL | JC00000001 |
| 20210910053006671 | 1080698 | 1080698 | 9031425 | 20200124142121 | 0 | 2 | 1 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | START | | P_SF_NIM008 | NULL | NULL | NULL | JC00000003 |
| 20210910053015451 | 1080698 | 1080698 | 9031424 | 20200124142121 | 0 | 2 | 1 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | LOOP-1 | | P_SF_NIM008 | NULL | NULL | NULL | JC00000003 |
| 20210910053015789 | 1080698 | 1080698 | 9031413 | 20200124142121 | 0 | 2 | 1 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | COUNT | | P_SF_NIM008 | NULL | NULL | NULL | JC00000003 |
| 20210910053016049 | 1080698 | 1080698 | 9031419 | 20200124142121 | 0 | 2 | 1 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | FWAIT-1 | ファイル存在チェック | P_SF_NIM008 | NULL | NULL | NULL | JC00000003 |
| 20210910053018623 | 1080698 | 1080698 | 9031421 | 20200124142121 | 0 | 2 | 1 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | IF-1 | | P_SF_NIM008 | NULL | NULL | NULL | JC00000003 |
| 20210910053019163 | 1080698 | 1080698 | 9031418 | 20200124142121 | 0 | 2 | 1 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | FCOPY-1 | | P_SF_NIM008 | NULL | NULL | NULL | JC00000003 |
| 20210910053007178 | 1080698 | 1080698 | 9031425 | 20200124142121 | 0 | 2 | 2 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | START | | P_SF_NIM008 | NULL | NULL | NULL | JC00000004 |
| 20210910053015707 | 1080698 | 1080698 | 9031424 | 20200124142121 | 0 | 2 | 2 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | LOOP-1 | | P_SF_NIM008 | NULL | NULL | NULL | JC00000004 |
| 20210910053016047 | 1080698 | 1080698 | 9031413 | 20200124142121 | 0 | 2 | 2 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | COUNT | | P_SF_NIM008 | NULL | NULL | NULL | JC00000004 |
| 20210910053018072 | 1080698 | 1080698 | 9031419 | 20200124142121 | 0 | 2 | 2 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | FWAIT-1 | ファイル存在チェック | P_SF_NIM008 | NULL | NULL | NULL | JC00000004 |
| 20210910053018888 | 1080698 | 1080698 | 9031421 | 20200124142121 | 0 | 2 | 2 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | IF-1 | | P_SF_NIM008 | NULL | NULL | NULL | JC00000004 |
| 20210910075013711 | 1080698 | 1080698 | NULL | 20200124142121 | 0 | 2 | 0 | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | | | P_SF_NIM008 | NULL | NULL | NULL | JC00000008 |
| 20210914174003823 | 1080698 | 1080698 | NULL | 20200124142121 | 0 | 5 | NULL | 0 | 0 | p_sf_nim008_jn001 | s_sf_nim008_CUBIC連携ファイル取込バッチ | NULL | NULL | P_SF_NIM008 | NULL | NULL | NULL | JC90000003 |----------------------------------+----------------------+--------------+----------------+-------------+---------------+------------+----------+-------------+-------------------+----------------------------------------------------+---------+--------------------------------+-------------+-------------+---------+---------+------------+
14 rows in set (0.00 sec)
Files
Updated by 保守サポート 担当 about 3 years ago
- Status changed from 新規登録 to 回答中
ジョブアレンジャーのご利用有難うございます。
[JAJOBNET000001] で右上の検索を実行しますといくつか過去の問合せ/回答がございます。
先ずは本件と類似情報が無いかご確認ください。
またお問合せにつきまして、今回のケースですと以下を一式で拝見できますと非常に助かります。
●ジョブマネージャからの画面の全体キャプチャ
・実行ジョブ詳細画面のジョブネット状況(フローチャート)、赤くなっているアイコンの変数表示。
・問題のジョブネット詳細(フローチャート含むオブジェクト全体)
・上記ジョブネット中のジョブ詳細、ジョブアイコンの設定の全体キャプチャ
●設定、ログファイル~エラーを含むログファイルそのままでお願いします。
・jobarg_server.conf
・jobarg_agentd.conf 上記でエラー発生したAgentの設定
・jobarg_server.log
・jobarg_agentd.log 上記でエラー発生したAgentのログ
●環境情報
・JAZバージョン
・Zabbixバージョン
・DBバージョン
・OSバージョン
●その他情報
今回ですと、今まで正常稼働していたジョブネットが今回初めてこのようなエラー発生したのか、新生成の最初の実行からうまく行かないのか等の情報
お問合せはご契約ユーザ様を最優先で対応しております。
本一般QAサイトでの回答は、かなり遅くなることがございます。
速やかな返信・対応のためにサポート契約をご検討頂ければ幸甚です。
宜しくお願い致します。
Updated by Anonymous about 3 years ago
- File jobarg_server.log.gz jobarg_server.log.gz added
- File 20210928_内部債権JobArrangerエラー.zip 20210928_内部債権JobArrangerエラー.zip added
- File jobarg_agentd.log.20210911.gz jobarg_agentd.log.20210911.gz added
- File jobarg_agentd.conf jobarg_agentd.conf added
- File jobarg_server.conf jobarg_server.conf added
ご確認ありがとうございます。
下記、添付いたしましたのでご査収ください。
ジョブマネージャからの画面の全体キャプチャ
設定、ログファイル~エラーを含むログファイルそのままでお願いします。
・jobarg_server.conf
・jobarg_agentd.conf 上記でエラー発生したAgentの設定
・jobarg_server.log
・jobarg_agentd.log 上記でエラー発生したAgentのログ
環境情報
・JobArrengerServer:3.4.0
・JobArrenger Agent:3.4.0
・Zabbix Server:zabbix_server (Zabbix) 3.0.5
・Zabbix Agent:zabbix_agentd (daemon) (Zabbix) 3.0.5
・DBバージョン:5.5.50-MariaDB
・OSバージョン:CentOS Linux release 7.2.1511 (Core)
Updated by 保守サポート 担当 about 3 years ago
資料の提供有難うございました。
9/10 05:30稼働のジョブネットがタイムアウトしてから終了せずに残り続けております。
問題のジョブネットを見ますと、停止しているのはファイル転送アイコンです。
このファイル転送が停止していた為にジョブネットが140分のタイムアウト(停止)になったものと思います。
ファイル転送がなぜ終了しなかったかの理由は判明しておりますでしょうか?
復旧にあたってどういった対応をすればよろしいかご教示いただけますでしょうか。
ジョブ実行管理から当該ジョブネットを手動で強制終了してみてください。
ご利用のJobArrengerバージョンは3.4.0と古いです。このバージョン以降にファイル転送アイコンの改定 が入っております。
もしこの改定事由が、今回のファイル転送停止理由にあたるようでしたら、バージョンアップしてください。
さらにZabbixのバージョン3台はサポートが終了しておりますので、ZabbixとJAZを合わせての早期のバージョンアップが必要です。
以上よろしくお願いいたします。
Updated by Anonymous about 3 years ago
ご回答ありがとうございます。
ファイル転送がなぜ終了しなかったかの理由は判明しておりますでしょうか?
まだ確認できておりません。確認中となります。
ジョブ実行管理から当該ジョブネットを手動で強制終了してみてください。
実行管理の画面から手動に停止を実施しましたが、応答がなく困っております。
Updated by Anonymous over 2 years ago
ジョブ実行管理から当該ジョブネットを手動で強制終了してみてください。
上記について対応を実施しましたが状況変わらずでした。
下記のログが出力され続けておりますが、解消にはどういった対応が必要になりますでしょうか。
6255:20220509:133047.336 [INFO] [JAJOBNET000001] In jajobnet_kill() jobnet was forced to stop. inner_jobnet_id: 1080698, jobnet_id: p_sf_nim008_jn001, user_name: P_SF_NIM008
6255:20220509:133047.337 [INFO] [JAJOBNET000002] In jajobnet_kill() inner_jobnet_id: 1080698, ready_cnt: 0, run_cnt: 1