その他問い合わせ #3847
未完了Job Arranger Agent における SQLite へのジョブ実行指示書き込み失敗について
説明
お世話になっております。
その他問い合わせ #3846 にてお問い合わせしている事象について、追加調査を行った結果、
バッチサーバ上の Job Arranger Agent が内部的に利用している SQLite(ジョブ実行管理データベース)へのジョブ実行指示情報の書き込み処理に失敗していたことを確認いたしました。
製品動作の観点から、発生原因および再発防止策についてご教示いただきたく、改めてお問い合わせいたします。
■ 利用環境
・Job Arranger バージョン:5.0.0
・OS:Red Hat Enterprise Linux 8(AWS EC2)
■ 発生日時
2026/9/25 21:03(JST)
※その後、同事象は再発しておりません。
■ 発生事象
バッチ実行中、特定のジョブにて以下のエラーが出力され、RUNERR となりました。
[ERROR] [JARUNICONJOB200012] Cannot send data:inner_jobid [XXXXXXXXXX], message [Can not insert jobid: ]
[INFO] [JAJOBNETRUN000001] In ja_set_runerr() job execution error. status is RUNERR job_exit_cd: 0, icon_status: 2
該当ジョブの実行ログは存在しておらず、対象のバッチ処理自体は起動されていないものと判断しております。
■ 追加調査で確認した内容
運用管理サーバ側の Job Arranger ログでは、バッチサーバ側で問題が発生していたことを示すエラーメッセージが出力されておりました。
また、バッチサーバ上の Job Arranger Agent ログ(agentd ログ)を確認したところ、該当ジョブの実行時間帯に以下のログが出力されておりました。
[WARN] In ja_jobdb_get_status() can not find jobid: XXXXXXXXXX
[ERROR] query failed: [replace into jobs values (XXXXXXXXXX, ...)] error [database disk image is malformed]
※上記 ERROR が 21:02:30 ~ 21:03:00 の約30秒間、1秒間隔で繰り返し出力
[WARN] the database is busy.
※上記 WARN も同時間帯に複数回出力
[ERROR] In ja_jobdb_insert() Can not insert jobid:
[ERROR] In ja_agent_begin() jobid[XXXXXXXXXX,] Can not insert jobid:, Server IP XXX.XXX.XXX.XXX
上記より、Job Arranger Server から指示されたジョブ実行指示情報を、Job Arranger Agent 側の SQLite(ジョブ実行管理データベース)へ登録する処理が約30秒間にわたり失敗し続けた結果、
最終的にジョブが起動されず RUNERR となったものと認識しております。
■ 当方で確認済みの内容
・該当ジョブの実行ログは存在せず、対象のバッチ処理自体は起動されていないことを確認
・異常終了ジョブの後続ジョブおよびそれ以降のジョブは正常終了していることを確認
・発生日以降、同事象は再発していない
・業務夜間バッチ等との並列実行はなく、バッチサーバおよび当該サーバに紐づく EBS について、
CloudWatch メトリクス上、明確な CPU・ネットワーク・EBS I/O 等の性能低下は確認されていない
・OSログ上、確認した範囲では、運用管理サーバおよびバッチサーバに関連するエラー等は確認されていない
■ お問い合わせ内容
1. 上記ログから、Job Arranger Agent が内部的に利用している SQLite へのアクセス、またはジョブ実行指示情報の書き込み処理に失敗したことにより、該当ジョブが起動されず RUNERR となった、という理解で相違ないでしょうか。
2. database disk image is malformed および the database is busy が出力される具体的な発生条件をご教示ください。
例:SQLite DBファイル破損、ロック競合、I/O遅延、Agent内部処理競合など
3. 本事象は発生後再発しておらず、異常終了ジョブの後続ジョブおよびそれ以降のジョブは正常終了しております。
この状況から、一過性の事象と判断して差し支えないか、また再発リスクについてご見解をいただけますでしょうか。
4. 再発防止のために確認・設定すべき項目、取得すべきログ、監視すべきメトリクス等があればご教示ください。
ご多忙のところ恐れ入りますが、ご確認のほどよろしくお願いいたします。