Job Arranger for Zabbix

お世話になっております。
サポート契約のない中で申し訳ないですが、対処可能かの見込みだけでもいただくことはできないでしょう。
解析、本回答にお時間かかるようであれば、一旦、別案等で対応を考えようと思っております。

誠に勝手なお願いではございますが、ご協力いただけると幸いです。

返信遅くなりまして恐縮です。

頂いたserver.logを見ますと連続してOne child process died のエラーと再起動が発生しています。

該当するジョブを実行すると常に再現されます。

このジョブを実行するためのデータが問題を引き起こしている可能性があります。

①先ず連続しているエラー再起動を停止するには下記テーブルをクリア(全データ削除)してください。
ja_run_jobnet_table

②One child process diedのプロセスの特定
logよりJob Arranger Server開始～ Arranger Serverのエラーstop　の一例を抜き出しました。
停止の原因となった　One child process died (PID:3274　はServer起動時のログの[job trapper #4]です。★印
Server起動時はいくつかの子プロセスを起動しますが、そのうちのtrapperプロセス(5個ある)の一つが問題となっています。
これは、AgentからServerに送られる通信を受け取るプロセスですので、その通知データに問題があると思われます。

  3267:20170202:020044.034 [INFO] [JASERVER000001] Starting Job Arranger Server. Job Arranger 3.0.0 (revision 7065).
  3268:20170202:020044.035 [INFO] [JASERVER000004] server #1 started [start and check the jobnet #1]
  3269:20170202:020044.035 [INFO] [JASERVER000004] server #2 started [start the job #1]
省略
  3267:20170202:020044.036 [INFO] [JASERVER000003] server #0 started [main process]
★3274:20170202:020044.036 [INFO] [JASERVER000004] server #7 started [job trapper #4] 
省略
  3273:20170202:020248.725 [INFO] [JAJOBNETRUN000001] In ja_set_runerr() job execution error. inner_job_id: 11402582 status is RUNERR jobnet_id: JBN_SRV_051, job_id: JBN_SRV_051/JB_SRV_051_001, user_name: production, job_exit_cd: 99, icon_status: 1
info from server: "processed: 1; failed: 0; total: 1; seconds spent: 0.000041" 
sent: 1; skipped: 0; total: 1
  3277:20170202:020500.283 [INFO] [JABOOT000001] skipped the start of jobnet: inner jobnet id[1304980] jobnet id[JBN_BYD_048] scheduled time[201702020205]
*** stack smashing detected ***: /usr/sbin/jobarg_server terminated
  3274:20170202:020936.282 [CRIT] Got signal [signal:11(SIGSEGV),reason:128,refaddr:(nil)]. Crashing ...
  3274:20170202:020936.282 [CRIT] ====== Fatal information: ======
  3274:20170202:020936.282 [CRIT] Program counter: 0x7f8e259c4128
  3274:20170202:020936.282 [CRIT] === Registers: ===
  3274:20170202:020936.282 [CRIT] r8      =                0 =                    0 =                    0     
省略                 0
  3274:20170202:020936.282 [CRIT] === Backtrace: ===
★3267:20170202:020936.283 [CRIT] One child process died (PID:3274,exitcode/signal:11). Exiting ...
pkill: killing pid 3132 failed: 荐怨・＆・娯 ・＞・・＞繿坂ｻ懌 с☆
  3267:20170202:020938.306 [INFO] [JASERVER000002] Job Arranger Server stopped. Job Arranger 3.0.0 (revision 7065).

③対応としましては...
ログ上で文字化けしています。なにかAgentからServerに送られる通信内容で文字コードがおかしいものがあるかもしれません。
job_id: JBN_SRV_051　で問題が起きていることが明確ですから、他のうまく行くジョブとの違いを突きとめてください。

もしhost ci01　で実行するジョブが同じようにエラーとなるなら、
そのサーバのJobAgentやその他設定を他のうまくいっているサーバのものと比較してみてください。

以上宜しくお願いいたします。

ご回答いただきありがとうございます。

①先ず連続しているエラー再起動を停止するには下記テーブルをクリア(全データ削除)してください。
ja_run_jobnet_table

こちらについては、実行ジョブに影響があると思われますので、停止調整中です。調整でき次第実施確認いたします。

②One child process diedのプロセスの特定
これは、AgentからServerに送られる通信を受け取るプロセスですので、その通知データに問題があると思われます。

通知データの不正なパターンや同事象の過去事例などを提供いただくことは難しいでしょうか。

③対応としましては...
ログ上で文字化けしています。なにかAgentからServerに送られる通信内容で文字コードがおかしいものがあるかもしれません。

ログの文字化けしている内容ですが、正しい文字コード（UTF−8）に変換したところ以下のようになりました。（こちら変換して送付すべきでした。。。）
pkill: killing pid 3132 failed: 荐怨・＆・娯 ・＞・・＞繿坂ｻ懌 с☆
↓
pkill: killing pid 3132 failed: 許可されていない操作です
AgentからServerへの通知データのログでしょうか。
（内容から子プロセスが停止できなかったようなログにも見えます。）

以上、よろしくお願いいたします。

たまにくる人間です。

2.1では問題なかったjobが3.0ではエラーでしょうか？

Agentからくる文字コードがUTF8ではなさそうに見られます。
/var/lib/jobarrangerにある
jobarg_agentd.db を確認してください。
文字コードが難しいならteeを使わないほうがよいでは

以上です。

保守サポート 担当様
たまにくる人間様

Job arrangerで実行しているシェルスクリプトの出力を止めると問題なくジョブネットの実行できました。
ご指摘いただいた通りAgentから送付されるデータの問題であったかと思います。
文字コードの変更等での検証まで実施できておりませんが、ジョブネットの運用はできそうです。

ご協力いただきありがとうございます。大変助かりました。

取り急ぎ、お礼とご報告まで。