時刻ズレ

????????????????????¨????°???¨??§????????°???????¨??????￢???????????°?????±??????????????§??????

このスレッドはクローズされています。記事の閲覧のみとなります。

時刻ズレ

????????? 2013/11/27 17:14
????????? インフラ担当（駆け出し）

1．不明点・障害内容：時刻ズレ(4分) 2．ログの有無　　　：無　　(有：その内容) ： 3．Distribution　　：Fedora 　　　　　 Version ：9 4．Service Name　　：　　　　　 Version ： 5．ネットワーク構成：時刻が毎日 09:01 と 12:01 に4分ずれるという不具合が発生しています。何が原因か不明でどこを調査したら良いか分からず途方に暮れています。私の方で時刻がどのように変わっていくか記録したデータを参考までに載せます。 --------------------------------------- Tue Nov 26 09:00:01 JST 2013 Tue Nov 26 09:03:29 JST 2013 Tue Nov 26 09:03:29 JST 2013 Tue Nov 26 09:03:29 JST 2013 Tue Nov 26 09:04:01 JST 2013 Tue Nov 26 09:01:17 JST 2013 Tue Nov 26 09:02:02 JST 2013 Tue Nov 26 09:03:01 JST 2013 Tue Nov 26 09:04:01 JST 2013 Tue Nov 26 09:05:01 JST 2013 Tue Nov 26 09:06:01 JST 2013 Tue Nov 26 09:07:01 JST 2013 Tue Nov 26 09:08:01 JST 2013 Tue Nov 26 09:09:01 JST 2013 Tue Nov 26 09:10:01 JST 2013 　　　　　　：　　　　　　： Tue Nov 26 12:00:01 JST 2013 Tue Nov 26 12:03:38 JST 2013 Tue Nov 26 12:03:38 JST 2013 Tue Nov 26 12:03:38 JST 2013 Tue Nov 26 12:04:01 JST 2013 Tue Nov 26 12:01:26 JST 2013 Tue Nov 26 12:02:01 JST 2013 Tue Nov 26 12:03:01 JST 2013 Tue Nov 26 12:04:01 JST 2013 Tue Nov 26 12:05:01 JST 2013 Tue Nov 26 12:06:02 JST 2013 Tue Nov 26 12:07:01 JST 2013 Tue Nov 26 12:08:01 JST 2013 Tue Nov 26 12:09:01 JST 2013 Tue Nov 26 12:10:01 JST 2013 --------------------------------------- 環境ではDBサービスが動作しているため、時刻が大きくズレることは避けたいという事情があります。現在時刻が大きく変わる対策として9時と12時台にcron にて 2分間隔で ntpdate を走らせています。ただ、大きく時刻が変わる事自体の根本的な解決になっていないため、9:01 と 12:01 にピンポイントでデータ登録がありますと、登録日時がズレてしまうという問題が発生してしまいます。 cronを一通り確認しましたが時刻を調整しているようなコマンドは登録されていないことは確認済みです。また、ntpd や ntpdateデーモンは動作していないことも確認済みです。問題の切り分け方法、参考URLなどなど、どのような情報でも構いません。アドバイスをお願いします！

■ コンテンツ関連情報

Re: 時刻ズレ ( No.1 )

????????? 2013/11/27 17:37
????????? 管理者

> 現在時刻が大きく変わる対策として9時と12時台にcron にて 2分間隔で ntpdate を走らせています。　　　　: 　　　　: >また、ntpd や ntpdateデーモンは動作していないことも確認済みです。逆を返すと９時台と12時台しかntpdateしていないと言うことですよね？当方も過去に時刻が大きくズレる事がありましたが、結果はハードウェアクロックが原因でした。確かclockコマンドで確認できたと思います。一度、ハードウェアクロックを確認してみては如何でしょうか？ただLinuxはシステムクロック(カーネル内部のカウンタ)で動作しているので関係ないかもしれませんが、システム起動時にはハードウェアクロックを参照し設定しているので関連があるかもしれません。 (今回の件は、システム起動していないようなので無関係かもしれませんが・・・・曖昧で申し訳ありません) ハードウェアクロックがズレているようであれば、ntpdate後にハードウェアクロックもコマンドで修正するようにしてみてください。「clock -w」で、システムクロックをハードウェアクロックに設定できたと思います。

Re: 時刻ズレ ( No.2 )

????????? 2013/11/27 18:28
????????? インフラ担当（駆け出し）

早速の回答、アドバイスありがとうございます！ >逆を返すと９時台と12時台しかntpdateしていないと言うことですよね？他の時間もcron にて 30分間隔で ntpdate を走らせています。　それにより他の時間帯は時間がほぼ合っている状態となっています。　しかし、時刻のトレースのようになぜだか09:01 と 12:01 に4分ずれる　という謎現象が発生していまして(^^; >一度、ハードウェアクロックを確認してみては如何でしょうか？　情報ありがとうございます！　一度ハードウェアクロックを確認してみます！ >ハードウェアクロックがズレているようであれば、ntpdate後にハードウェアクロックもコマンドで >修正するようにしてみてください。　ハードウェアクロックがズレているいないに関わらず切り分けのために一度やってみたいと思います。

Re: 時刻ズレ ( No.3 )

????????? 2013/11/28 02:05
????????? stranger
?????§??? http://ja.528p.com/

TOPコマンドなどで 9時12時の時間帯でなにがおこっているか確認してみる CPUを１００％使いきるような、コマンドが実行されていないか端末を開いて（サーバにログインして） topと打つ終了はqキーを打つ fedora9は10-Jul-2009が最終アップデートですよねアップデートパッケージが必要な場合は下記サイトを当たる http://archives.fedoraproject.org/pub/archive/fedora/linux/updates/9/ 上司は問題にしてないの？外部にアクセスしないことですが、内部からの不正アクセスもあるので

Re: 時刻ズレ ( No.4 )

????????? 2013/12/02 09:50
????????? インフラ担当（駆け出し）

回答、アドバイスありがとうございます！ > 9時12時の時間帯でなにがおこっているか確認してみる > CPUを１００％使いきるような、コマンドが実行されていないか軽く調べた限りでは特に100%になるようなプロセスはなさそうです。また、CPU負荷が急激に上がるようなこともありませんでした。 >上司は問題にしてないの？上司も問題にしていまして、そのためどのように対策しようかを検討しているところです。ぜんぜん目星が付かず途方に暮れているところです。

Re: 時刻ズレ ( No.5 )

????????? 2013/12/02 12:59
????????? インフラ担当（駆け出し）

結果報告します。 >>ハードウェアクロックがズレているようであれば、ntpdate後にハードウェアクロックもコマンドで >>修正するようにしてみてください。 > >　ハードウェアクロックがズレているいないに関わらず切り分けのために一度やってみたいと思います。　ハードウェアクロックを合わせるようにしてみましたが、変わらず現象発生します。

Re: 時刻ズレ ( No.6 )

????????? 2013/12/03 14:29
????????? 管理者

> cronを一通り確認しましたが・・・・一番最初に開示して頂いておりますが、一般ユーザなどのcronも確認されていますか？ただ時刻設定にはroot権限が必要になりますので、sudoやUID0のユーザやGID0に所属しているユーザも確認してみてください。これ以外は当方も現在は思いあたらないのが現状です・・・

Re: 時刻ズレ ( No.7 )

????????? 2013/12/03 15:33
????????? Johann

なんだろうね。 9時と12時あたりの/var/log/messagesにおかしなログが出てたりしないだろうか。

Re: 時刻ズレ ( No.8 )

????????? 2013/12/03 18:18
????????? Johann

よく見たらFedora 9? それって6年くらい前のリリースなんじゃ。当然サポート外だし。 Fedora 19かCentOS 6.5あたりに乗り換えるのが一番の解決法かもしれない。

Re: 時刻ズレ ( No.9 )

????????? 2013/12/03 18:23
????????? Johann

BIOSのファームウェアをアップグレードしたら治った例もあるみたいだけど、DBサーバーならダウンタイム取らなきゃだめだから面倒だね。 http://forums.fedoraforum.org/archive/index.php/t-255229.html

Re: 時刻ズレ ( No.10 )

????????? 2013/12/04 10:03
????????? インフラ担当（駆け出し）

みなさん　ご返信、アドバイスありがとうございます！ > 一番最初に開示して頂いておりますが、一般ユーザなどのcronも確認されていますか？ > ただ時刻設定にはroot権限が必要になりますので、sudoやUID0のユーザやGID0に所属しているユーザ　一般ユーザのcron についても確認済みでして、ntpdate などの日時調整コマンドは入っていません　でした。 > 9時と12時あたりの/var/log/messagesにおかしなログが出てたりしないだろうか。　時刻がズレる瞬間があるからだと思いますが/var/log/messages に -160sec ほど調整したという　ログは出ています。 ---------------------------------------------------------------------------------------------------- Dec 4 09:01:15 poweredger300 ntpdate[18740]: step time server 192.168.255.11 offset -165.510388 sec ---------------------------------------------------------------------------------------------------- > それって6年くらい前のリリースなんじゃ。当然サポート外だし。　そうなんですよね。昔のものなのでサポート関係もあり乗り換えたいのですが、すぐには乗り換えられ　ないのが現状でして、、、とりあえず動いている間だけでも問題ない状態にしたいと思っている次第　です。 > BIOSのファームウェアをアップグレードしたら治った例もあるみたいだけど、DBサーバーならダウンタイム取らなきゃだめだから面倒だね　BIOSですか。再起動が必要になりますね。　24時間稼動するDBサーバなのでなかなか難しいところです(^^; 　とりあえず、BIOSのアップデートが公開されているか確認してみます。

Re: 時刻ズレ ( No.11 )

????????? 2013/12/04 10:16
????????? 管理者

Fedoraは直接マシン上で稼働していますか？ VMwareなどの仮想上で稼働していたりしませんか？

Re: 時刻ズレ ( No.12 )

????????? 2013/12/04 12:28
????????? インフラ担当（駆け出し）

回答ありがとうございます！ > Fedoraは直接マシン上で稼働していますか？ > VMwareなどの仮想上で稼働していたりしませんか？　仮想マシンを通さず直接マシン上で稼動しています。　マシンはDell PowerEdge R300 という機種です。

Re: 時刻ズレ ( No.13 )

????????? 2013/12/04 14:25
????????? Johann

cron周りで確認するとしたら、後は $ ls -la /etc/cron cron.d/ cron.deny cron.hourly/ crontab これらの中身かなあ。あんまりcronの問題とは思えないけど、洗ってみる価値はあるかも。まあ上にも書いたけど一番の解決法はハードとソフトを一新することだと思う。普通償却は5年だし、元に運用上の問題が起きているわけで。トラブルシュートする担当者の時間と給料もコストだし、データベースの整合性が損なわれるリスクもある。そう考えたらハードを買い換えない理由は無いと思うけど。

Re: 時刻ズレ ( No.14 )

????????? 2013/12/05 13:57
????????? インフラ担当（駆け出し）

回答、アドバイスありがとうございます！ > これらの中身かなあ。あんまりcronの問題とは思えないけど、洗ってみる価値はあるかも。　中身を確認してみましたが残念ながらntpdate などで時刻同期を行っているところは見つかり　ませんでした。まだ確認が取れていないのですが、今までノーマークだった機器が影響している可能性が出てきました。その機器というのは通話録音装置なのですが、この装置も記録日時がズレていたのです。 ※ふとした偶然で見つけましたこの装置との関連性などについては調査しないと分からないですが、今一番怪しいのはこの装置となっています。調査結果が分かり次第ご報告致します。

Re: 時刻ズレ ( No.15 )

????????? 2013/12/05 14:02
????????? インフラ担当（駆け出し）

> まあ上にも書いたけど一番の解決法はハードとソフトを一新することだと思う。　そうですよね。おっしゃる通りだと思います。　何かあったときのメーカーサポートは欲しいところです。　現在、半年?1年内にAWS上に用意したサーバに乗り換える計画が進行中です。　移行完了まで何とかもって欲しいと思っております。

Re: 時刻ズレ ( No.16 )

????????? 2013/12/09 14:19
????????? インフラ担当（駆け出し）

時刻がズレる原因が分かりました！通話録音装置から時刻同期をかける処理が走っていることにより、時刻ズレが発生していました。時刻同期かける処理を停止することにより、現象が発生しなくなりました。みなさまお騒がせしました。また、色々とアドバイス頂きありがとうございました。無事解決できましたことをここに御礼申し上げます。また、これをもちまして本件クローズとします。

■ その他

ページ先頭へ

Re: 時刻ズレ ( No.1 )
????????? 2013/11/27 17:37 ????????? 管理者 > 現在時刻が大きく変わる対策として9時と12時台にcron にて 2分間隔で ntpdate を走らせています。　　　　: 　　　　: >また、ntpd や ntpdateデーモンは動作していないことも確認済みです。逆を返すと９時台と12時台しかntpdateしていないと言うことですよね？当方も過去に時刻が大きくズレる事がありましたが、結果はハードウェアクロックが原因でした。確かclockコマンドで確認できたと思います。一度、ハードウェアクロックを確認してみては如何でしょうか？ただLinuxはシステムクロック(カーネル内部のカウンタ)で動作しているので関係ないかもしれませんが、システム起動時にはハードウェアクロックを参照し設定しているので関連があるかもしれません。 (今回の件は、システム起動していないようなので無関係かもしれませんが・・・・曖昧で申し訳ありません) ハードウェアクロックがズレているようであれば、ntpdate後にハードウェアクロックもコマンドで修正するようにしてみてください。「clock -w」で、システムクロックをハードウェアクロックに設定できたと思います。
Re: 時刻ズレ ( No.2 )
????????? 2013/11/27 18:28 ????????? インフラ担当（駆け出し）早速の回答、アドバイスありがとうございます！ >逆を返すと９時台と12時台しかntpdateしていないと言うことですよね？他の時間もcron にて 30分間隔で ntpdate を走らせています。　それにより他の時間帯は時間がほぼ合っている状態となっています。　しかし、時刻のトレースのようになぜだか09:01 と 12:01 に4分ずれる　という謎現象が発生していまして(^^; >一度、ハードウェアクロックを確認してみては如何でしょうか？　情報ありがとうございます！　一度ハードウェアクロックを確認してみます！ >ハードウェアクロックがズレているようであれば、ntpdate後にハードウェアクロックもコマンドで >修正するようにしてみてください。　ハードウェアクロックがズレているいないに関わらず切り分けのために一度やってみたいと思います。
Re: 時刻ズレ ( No.3 )
????????? 2013/11/28 02:05 ????????? stranger ?????§??? http://ja.528p.com/ TOPコマンドなどで 9時12時の時間帯でなにがおこっているか確認してみる CPUを１００％使いきるような、コマンドが実行されていないか端末を開いて（サーバにログインして） topと打つ終了はqキーを打つ fedora9は10-Jul-2009が最終アップデートですよねアップデートパッケージが必要な場合は下記サイトを当たる http://archives.fedoraproject.org/pub/archive/fedora/linux/updates/9/ 上司は問題にしてないの？外部にアクセスしないことですが、内部からの不正アクセスもあるので
Re: 時刻ズレ ( No.4 )
????????? 2013/12/02 09:50 ????????? インフラ担当（駆け出し）回答、アドバイスありがとうございます！ > 9時12時の時間帯でなにがおこっているか確認してみる > CPUを１００％使いきるような、コマンドが実行されていないか軽く調べた限りでは特に100%になるようなプロセスはなさそうです。また、CPU負荷が急激に上がるようなこともありませんでした。 >上司は問題にしてないの？上司も問題にしていまして、そのためどのように対策しようかを検討しているところです。ぜんぜん目星が付かず途方に暮れているところです。
Re: 時刻ズレ ( No.5 )
????????? 2013/12/02 12:59 ????????? インフラ担当（駆け出し） `結果報告します。 >>ハードウェアクロックがズレているようであれば、ntpdate後にハードウェアクロックもコマンドで >>修正するようにしてみてください。 > >　ハードウェアクロックがズレているいないに関わらず切り分けのために一度やってみたいと思います。　ハードウェアクロックを合わせるようにしてみましたが、変わらず現象発生します。`
Re: 時刻ズレ ( No.6 )
????????? 2013/12/03 14:29 ????????? 管理者 `> cronを一通り確認しましたが・・・・一番最初に開示して頂いておりますが、一般ユーザなどのcronも確認されていますか？ただ時刻設定にはroot権限が必要になりますので、sudoやUID0のユーザやGID0に所属しているユーザも確認してみてください。これ以外は当方も現在は思いあたらないのが現状です・・・`
Re: 時刻ズレ ( No.7 )
????????? 2013/12/03 15:33 ????????? Johann `なんだろうね。 9時と12時あたりの/var/log/messagesにおかしなログが出てたりしないだろうか。`
Re: 時刻ズレ ( No.8 )
????????? 2013/12/03 18:18 ????????? Johann `よく見たらFedora 9? それって6年くらい前のリリースなんじゃ。当然サポート外だし。 Fedora 19かCentOS 6.5あたりに乗り換えるのが一番の解決法かもしれない。`
Re: 時刻ズレ ( No.9 )
????????? 2013/12/03 18:23 ????????? Johann `BIOSのファームウェアをアップグレードしたら治った例もあるみたいだけど、DBサーバーならダウンタイム取らなきゃだめだから面倒だね。 http://forums.fedoraforum.org/archive/index.php/t-255229.html`
Re: 時刻ズレ ( No.10 )
????????? 2013/12/04 10:03 ????????? インフラ担当（駆け出し）みなさん　ご返信、アドバイスありがとうございます！ > 一番最初に開示して頂いておりますが、一般ユーザなどのcronも確認されていますか？ > ただ時刻設定にはroot権限が必要になりますので、sudoやUID0のユーザやGID0に所属しているユーザ　一般ユーザのcron についても確認済みでして、ntpdate などの日時調整コマンドは入っていません　でした。 > 9時と12時あたりの/var/log/messagesにおかしなログが出てたりしないだろうか。　時刻がズレる瞬間があるからだと思いますが/var/log/messages に -160sec ほど調整したという　ログは出ています。 ---------------------------------------------------------------------------------------------------- Dec 4 09:01:15 poweredger300 ntpdate[18740]: step time server 192.168.255.11 offset -165.510388 sec ---------------------------------------------------------------------------------------------------- > それって6年くらい前のリリースなんじゃ。当然サポート外だし。　そうなんですよね。昔のものなのでサポート関係もあり乗り換えたいのですが、すぐには乗り換えられ　ないのが現状でして、、、とりあえず動いている間だけでも問題ない状態にしたいと思っている次第　です。 > BIOSのファームウェアをアップグレードしたら治った例もあるみたいだけど、DBサーバーならダウンタイム取らなきゃだめだから面倒だね　BIOSですか。再起動が必要になりますね。　24時間稼動するDBサーバなのでなかなか難しいところです(^^; 　とりあえず、BIOSのアップデートが公開されているか確認してみます。
Re: 時刻ズレ ( No.11 )
????????? 2013/12/04 10:16 ????????? 管理者 `Fedoraは直接マシン上で稼働していますか？ VMwareなどの仮想上で稼働していたりしませんか？`
Re: 時刻ズレ ( No.12 )
????????? 2013/12/04 12:28 ????????? インフラ担当（駆け出し） `回答ありがとうございます！ > Fedoraは直接マシン上で稼働していますか？ > VMwareなどの仮想上で稼働していたりしませんか？　仮想マシンを通さず直接マシン上で稼動しています。　マシンはDell PowerEdge R300 という機種です。`
Re: 時刻ズレ ( No.13 )
????????? 2013/12/04 14:25 ????????? Johann cron周りで確認するとしたら、後は $ ls -la /etc/cron cron.d/ cron.deny cron.hourly/ crontab これらの中身かなあ。あんまりcronの問題とは思えないけど、洗ってみる価値はあるかも。まあ上にも書いたけど一番の解決法はハードとソフトを一新することだと思う。普通償却は5年だし、元に運用上の問題が起きているわけで。トラブルシュートする担当者の時間と給料もコストだし、データベースの整合性が損なわれるリスクもある。そう考えたらハードを買い換えない理由は無いと思うけど。
Re: 時刻ズレ ( No.14 )
????????? 2013/12/05 13:57 ????????? インフラ担当（駆け出し）回答、アドバイスありがとうございます！ > これらの中身かなあ。あんまりcronの問題とは思えないけど、洗ってみる価値はあるかも。　中身を確認してみましたが残念ながらntpdate などで時刻同期を行っているところは見つかり　ませんでした。まだ確認が取れていないのですが、今までノーマークだった機器が影響している可能性が出てきました。その機器というのは通話録音装置なのですが、この装置も記録日時がズレていたのです。 ※ふとした偶然で見つけましたこの装置との関連性などについては調査しないと分からないですが、今一番怪しいのはこの装置となっています。調査結果が分かり次第ご報告致します。
Re: 時刻ズレ ( No.15 )
????????? 2013/12/05 14:02 ????????? インフラ担当（駆け出し） `> まあ上にも書いたけど一番の解決法はハードとソフトを一新することだと思う。　そうですよね。おっしゃる通りだと思います。　何かあったときのメーカーサポートは欲しいところです。　現在、半年?1年内にAWS上に用意したサーバに乗り換える計画が進行中です。　移行完了まで何とかもって欲しいと思っております。`
Re: 時刻ズレ ( No.16 )
????????? 2013/12/09 14:19 ????????? インフラ担当（駆け出し）時刻がズレる原因が分かりました！通話録音装置から時刻同期をかける処理が走っていることにより、時刻ズレが発生していました。時刻同期かける処理を停止することにより、現象が発生しなくなりました。みなさまお騒がせしました。また、色々とアドバイス頂きありがとうございました。無事解決できましたことをここに御礼申し上げます。また、これをもちまして本件クローズとします。