klink0v (klink0v) wrote,
klink0v
klink0v

Трудноотлаживаемая НЁХ

Когда что-то работает как надо — это хорошо и приятно. Когда что-то не работает от слова "совсем" — это неприятно, но по крайней мере понятно что делать. А вот когда оно вроде и работает, но периодически возникают весьма странные сбои...

Есть у меня один Javaписьный высоконагруженный сервис (не тот, про который предыдущий псто, другой). И он иногда падает. Причём, не абы когда, а строго в 03:50 утра. Плюс-минус пять минут. Но, ЧСХ, не каждый день. Иногда.

Падению предшествуют записи в логах о том, что проблемный сервис не может подключиться к каким-то другим внутренним сервисам. Ну там всякие Rabbit-ы, Nginx-ы и иже с ними. При этом:


  1. На всех остальных машинах всё нормально.

  2. Никаких сбоев или релевантных записей в логах на других сервисах нет.

  3. Другие сервисы, которые крутятся на том же самом физическом хосте, никаких вопросов не вызывают.

  4. В Zabbix-е тишина.

Разработчик выдвигает версию, что непотребство происходит из-за каких-то затыков в сети. А я вот совсем не уверен.

Только непонятно как искать причину. Когда оно падает не каждый день и в 3:50 утра... Особую пикантность ситуации доставляет то, что крутится всё это безобразие не на железке, не в виртуалке, а в OpenVZ-контейнере. Наследство-с...

Tags: грабли, трудовыебудни
Subscribe

  • Indirect branch tracking

    Обновил на своем домашнем компе ядро с 6.1.0-18 до 6.1.0-20. И началась какая-то ересь с bluetooth-ом, плюс периодически стал подвисать USB. В логах…

  • NginX vs HAProxy, часть 2

    Первая часть была здесь. За полтора года утекло энное количество воды, так что есть что добавить. В очередной раз наступил на грабли, описанные…

  • ОколоITшный дыбр #55

    ... На работе наконец-то уволили одного из мудаков из проекта "с мудаками". Куроводство умудрилось терпеть его аж целых четыре года. Это к…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 12 comments

  • Indirect branch tracking

    Обновил на своем домашнем компе ядро с 6.1.0-18 до 6.1.0-20. И началась какая-то ересь с bluetooth-ом, плюс периодически стал подвисать USB. В логах…

  • NginX vs HAProxy, часть 2

    Первая часть была здесь. За полтора года утекло энное количество воды, так что есть что добавить. В очередной раз наступил на грабли, описанные…

  • ОколоITшный дыбр #55

    ... На работе наконец-то уволили одного из мудаков из проекта "с мудаками". Куроводство умудрилось терпеть его аж целых четыре года. Это к…