操作問い合わせ #1797
closedジョブ終了遅延が、Zabbixに連携できない場合があります。
Description
担当者どの
お世話になります。
JOBARGで実行したジョブの終了遅延をZabbixにて検知できるように設定しているのですが、検知できない場合があります。
原因と対策について、ご教示ください。
<事象>
JOBARGsvrと別のサーバで稼動しているJOBARGagtにて実行したジョブの終了遅延がZabbixで検知できません。
JOBARGsvrと同居しているJOBARGagtにて実行したジョブの終了遅延はZabbixで検知できます。
ただし、何れの場合も、ログファイル(/var/log/jobarranger/jobarg_server.log)には、終了遅延のメッセージ(JAJOBICONJOB300001)が書かれています。また、ジョブの異常終了は問題なく検知できます。
<設定>
ログメッセージ定義ファイル(/etc/jobarranger/locale/logmessage_64BIT.txt)にて、終了遅延メッセージ(JAJOBICONJOB300001)をZabbixへ連携するようにフラグを立てています。
JAJOBICONJOB300001,3,1,In %s() timeout occurrence. inner_job_id: %lu, timeout: %s, start_time: %s, jobnet_id: %s, job_id: %s, user_name: %s
<環境>
JOBARGsvr:1.4.1 JOBARGagt:2.1.0
※JOBARGsvr:2.1.0 JOBARGagt:2.1.0 でも同事象が発生したため、バージョン混在の問題ではなさそう。
現在、JOBARGのバージョンアップを実施中であり、Serverも近々バージョンアップする予定です。
<想定回避策>
解決に時間を要す場合は、次の対応により暫定回避を検討しています。
ログファイル(/var/log/jobarranger/jobarg_server.log)監視を追加し、"ERROR"、"WARN"の文言を検知する。
よろしくお願いします。
Files
Updated by Anonymous over 9 years ago
Job Arranger for Zabbixのご利用ありがとうございます。
お問い合わせの件についてご回答致します。
JOBARGsvr:2.1.0に固定お願いいたします。
serverのLOGはDebugでお願いいたします。
jobarg_serverのlogを添付ください。
JOBARGsvrが1.4.1であるというのは問題がありそうです。
上記で再度発生するかをご確認頂けますか。
また想定の回避策は有効です。
通知はjobarg_server.logに出力された行をアイテムに送るものですので、
ログ監視での検知でも得られる情報は同じです。
速やかな返信のためにサポート契約をご検討頂ければ幸甚です。
宜しくお願い致します
Updated by Anonymous over 9 years ago
- File jobarg_server.zip jobarg_server.zip added
担当者どの
お世話になります。
Server,Agent共にv2.1.0でも同現象が発生しますので、こちらでの検証ログを送ります。
■環境
□jobarg_server Version
[root@vnk1172 jobarranger]# /usr/sbin/jobarg_server -V
Job Arranger Server v2.1.0 (revision 6777) (2014-12-19)
Compilation time: Dec 29 2014 15:19:10
□jobarg_agentd Version
[root@vnk1172 jobarranger]# /usr/sbin/jobarg_agentd -V
Job Arranger Agent (daemon) v2.1.0 (revision 6777) (2014-12-19)
Compilation time: Dec 29 2014 15:19:04
[root@vnk5197 ~]# /usr/sbin/jobarg_agentd -V
Job Arranger Agent (daemon) v2.1.0 (revision 6777) (2014-12-19)
Compilation time: Dec 29 2014 15:24:48
■遅延監視結果
(1) jobarg_server(vnk1172)と同じサーバ(vnk1172)のjobarg_agentdのジョブの終了遅延
Trapperで通知される
(2) jobarg_server(vnk1172)と異なるサーバ(vnk5197)のjobarg_agentdのジョブの終了遅延
Trapperで通知されない
※ただし、ログファイルには何れもメッセージが出力されており、ログ監視では正常に通知される
■ジョブの実行状況
(1)vnk1172のジョブ
ジョブネット名:vnk1172
実行時間:10:57:09-10:59:12
(2)vnk5197のジョブ
ジョブネット名:vnk5197_01
実行時間:11:00:04-11:02:06
■jobarg_server.log
添付します。
よろしくお願いします。
Updated by Anonymous over 9 years ago
- Status changed from 新規登録 to 回答中
Job Arranger for Zabbixのご利用ありがとうございます。
お手数ですがlogファイルはZipでなく、そのまま添付いただけますか。
速やかな返信のためにサポート契約をご検討頂ければ幸甚です。
宜しくお願い致します
Updated by Anonymous over 9 years ago
- File jobarg_server.log jobarg_server.log added
担当者どの
お世話になります。
失礼しました。添付し直します。
よろしくお願いします。
Updated by Anonymous over 9 years ago
しばらく間が空きまして恐縮です。
頂いたログを見ますと2回の通知で下記のログが出ていますので、両方で通知が失敗していると思われます。
info from server: "Processed 0 Failed 1 Total 1
それでも通知が片方でされているならjasender.shが片方では動いているのかもしれません。
jasender.shを確認していただけますか?
もしjasender.shを無効にして両方が通知されないなら、jasender.sh の設定等の問題と思われます。
以上よろしくお願いいたします。
Updated by Anonymous over 9 years ago
担当者どの
お世話になります。回答ありがとうございます。
jasender.shは、JAserverでしか稼動しない認識ですので、片方だけ動いているという回答が理解できません。
ただ、ログを見て頂いた回答から、試行錯誤で検証した結果、原因が解りました。
(1)v2.1.0でZBX連携が正常に動作しない原因と対策
<原因>
ジョブの異常終了メッセージ(JAJOBNETRUN000001)について、v1.4.1ではホスト名($7)がブランクだが、v2.1.0ではジョブの実行ホスト名がjasender.shに渡される。
そのため、v1.4.1ではJAserver(jasender.sh内のHOST変数値)にメッセージが渡され検知されていたが、v2.1.0ではジョブの実行ホストにメッセージが渡されるために検知されない。
※"jobarg.server"キーの傍受は、JAserverにしか設定していない。
<対策1>
jasender.shのzabbix_senderの"-s"引数を、"$HOST_NAME"から、"$HOST"に変更する。
これにより、常にJAserverにメッセージが引き渡され検知できる。
<対策2>
"jobarg.server"キーの傍受を、JAagent全てに設定する。
これにより、ジョブの実行ホストにメッセージが引き渡されても検知できる。
(2)JAagentをv2.1.0に上げたら、終了遅延メッセージ(JAJOBICONJOB300001)が検知されない原因と対策
<原因>
上記(1)と同じ。ただし、異常終了メッセージと異なり、終了遅延メッセージは元々実行ホスト名が入っているため、v1.4.1でも正常に検知できていなかったと思われる。
そのため、遅延の検知検証をJAserverのみで行っていた可能性がある。
また、バージョンアップ前には遅延が発生していなかった可能性がある。
<対策>
上記(1)と同じ。
(その他)
v1.4.1とv2.1.0との相違点として、他にジョブID($8)が、v1.4.1ではジョブIDのみであるのに対し、v2.1.0はジョブネットID/ジョブIDとなっている。
以上を踏まえて質問です。
JAの実装(設計)としては、"jobarg.server"キーの傍受は、各JAagentにて行なうということで良いですか?
また、その前提に立つと、v1.4.1の異常終了メッセージにおいて、ホスト名がブランクであったことが不具合という理解となりますが、それで良いですか?
よろしくお願いします。
Updated by Anonymous over 9 years ago
JAの実装(設計)としては、"jobarg.server"キーの傍受は、各JAagentにて行なうということで良いですか?
Zabbixで登録されているitemで設定されたキーに対してのJAからの通知を、
ジョブアイコン等で設定したそれぞれのホスト(Zabbix登録のホストと同じ)のitemで受信するか、
という問と考えてよいでしょうか? その前提で回答します。
jasender.shを利用しての通知ではそうです。
しかし2.1.0からは、Zabbix通知の仕組みが変更されました。ジョブサーバが直接Zabbixにメッセージを通知しますので、「jasender.sh」は使用しません。
通知先ホスト、キー等は一般設定画面で設定します。通知先ホストは固定になります。それぞれのホストではなくなりました。
但し、2.1.0環境下でもjasender.shを従前どおり設定しますと、従前どおり通知がされます。
また、その前提に立つと、v1.4.1の異常終了メッセージにおいて、ホスト名がブランクであったことが不具合という理解となりますが、それで良いですか?
jasender.shの利用ではホスト名が正しくないと送信されません。
おそらく2.1.0への更新で設定の問題等があり新通知機能が機能していないと思われます。
しかし対応によりjasender.shが従前どおり機能するようになったのではないでしょうか。下記を参照ください。
http://ジョブ管理.fitechforce.com/install-manual_2.1/01jasender-sh.html
http://ジョブ管理.fitechforce.com/operation-manual_2.1/12general-configuration.html
速やかな返信のためにサポート契約をご検討頂ければ幸甚です。
宜しくお願い致します。
Updated by Anonymous over 9 years ago
担当者どの
お世話になります。ご回答ありがとうございます。
ご提示頂いたマニュアルは参照しています。
サンプル画面と同様の設定となっていますが、検証する限りjasender.shが動作しています。
直接Zabbixに通知するためには、サンプル画面で言うと、"jasender"というアイテムキーを傍受する必要があるということでしょうか?
そうであれば、設定していませんので、連携できるわけがないですね。
逆に、jasender.shを動作しないようにするには、どうしたら良いのでしょうか?
バージョンアップ以降に設定を変更したことはないです。
よろしくお願いします。
Updated by Anonymous over 9 years ago
担当者どの
お世話になります。
逆に、jasender.shを動作しないようにするには、どうしたら良いのでしょうか?
バージョンアップ以降に設定を変更したことはないです。
と記載しましたが、v1.4.1の設定と合わせました。失礼しました。
v2.1.0のオリジナルのまま、放置すれば良いということですね?
よろしくお願いします。
Updated by Anonymous over 9 years ago
直接Zabbixに通知するためには、サンプル画面で言うと、"jasender"というアイテムキーを傍受する必要があるということでしょうか?
そうであれば、設定していませんので、連携できるわけがないですね。
ご理解の通りです。
逆に、jasender.shを動作しないようにするには、どうしたら良いのでしょうか?
jasender.shを所定の場所から削除が確実です。
ご記載のように「v2.1.0のオリジナルのまま、放置」でもOKです。
宜しくお願い致します。
Updated by Anonymous over 9 years ago
担当者どの
お世話になります。ご回答ありがとうございます。
"jasender"アイテムキーを傍受するように設定したところ、jasender.shの通知と合わせて、2通通知できるようになりました。
ただ、元々の"jobarg.server"アイテムキーにて傍受したいと思い、JOBARGmanagerの[一般設定]タグにて、[アイテムキー]を"jobarg.server"として、[変更]を押下したところ、ピリオド(.)は使えない旨のエラーが出て、アイテムキーの変更ができませんでした。
そのため、アイテムキーは"jasender"を使うことにし、jasender.shを削除、JOBARGサービス(jobarg-all)を再起動し、検証を行ったところ、jasender.shを削除したにも関わらず、"jobarg.server"アイテムキーおよび、"jasender"アイテムキーの両方が通知されるようになりました。
画面上は、エラーになったにも関わらず、アイテムキーが登録されているのでしょうか?
それとも、他に原因が考えられますでしょうか?
確認をしたいと思いますので、[一般設定]タブにて設定した[Zabbix通知設定]の保管場所(テーブル名?)を教えて頂けないでしょうか。
よろしくお願いします。
Updated by Anonymous over 9 years ago
画面上は、エラーになったにも関わらず、アイテムキーが登録されているのでしょうか?
エラーが出て、アイテムキーの変更ができない場合はデータは登録されません。
テーブルについての質問は本お問い合わせではご容赦ください。
よろしくお願いいたします。
Updated by Anonymous over 9 years ago
担当者どの
ご回答ありがとうございました。
では、本件はクローズ頂いて結構です。
よろしくお願いします。