klink0v (klink0v) wrote,
klink0v
klink0v

Трудноотлаживаемая НЁХ

Когда что-то работает как надо — это хорошо и приятно. Когда что-то не работает от слова "совсем" — это неприятно, но по крайней мере понятно что делать. А вот когда оно вроде и работает, но периодически возникают весьма странные сбои...

Есть у меня один Javaписьный высоконагруженный сервис (не тот, про который предыдущий псто, другой). И он иногда падает. Причём, не абы когда, а строго в 03:50 утра. Плюс-минус пять минут. Но, ЧСХ, не каждый день. Иногда.

Падению предшествуют записи в логах о том, что проблемный сервис не может подключиться к каким-то другим внутренним сервисам. Ну там всякие Rabbit-ы, Nginx-ы и иже с ними. При этом:


  1. На всех остальных машинах всё нормально.

  2. Никаких сбоев или релевантных записей в логах на других сервисах нет.

  3. Другие сервисы, которые крутятся на том же самом физическом хосте, никаких вопросов не вызывают.

  4. В Zabbix-е тишина.

Разработчик выдвигает версию, что непотребство происходит из-за каких-то затыков в сети. А я вот совсем не уверен.

Только непонятно как искать причину. Когда оно падает не каждый день и в 3:50 утра... Особую пикантность ситуации доставляет то, что крутится всё это безобразие не на железке, не в виртуалке, а в OpenVZ-контейнере. Наследство-с...

Tags: грабли, трудовыебудни
Subscribe

  • Как я работал connection broker-ом

    В Химках квартиру надо мной арендует какая-то таджикская община. Среди них живут двое "постоянных", с ними две девочки школьного возраста,…

  • Нет идеи - нет ИКЕИ

    Возле аэропорта Шереметьево терпит бедствие пассажирский лайнер. Командир спрашивает у второго пилота: — Чё делать будем? Есть идеи? —…

  • Социальный эксперимент завершен

    Вот этот. На днях управляющая компания доделала в подъезде псевдоремонт. При этом заменила все светильники на какие-то убогие экземпляры со…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 12 comments

  • Как я работал connection broker-ом

    В Химках квартиру надо мной арендует какая-то таджикская община. Среди них живут двое "постоянных", с ними две девочки школьного возраста,…

  • Нет идеи - нет ИКЕИ

    Возле аэропорта Шереметьево терпит бедствие пассажирский лайнер. Командир спрашивает у второго пилота: — Чё делать будем? Есть идеи? —…

  • Социальный эксперимент завершен

    Вот этот. На днях управляющая компания доделала в подъезде псевдоремонт. При этом заменила все светильники на какие-то убогие экземпляры со…