Пишу больше для себя, чтобы вспомнить если вдруг наступлю на эти же грабли ещё раз.
В некоторых версиях OpenSSH до сих пор актуален баг. Если на машине отключен IPv6, то X11Forwarding отказывается работать. На клиенте говорит "X11 forwarding refused", а на сервере "Failed to allocate internet-domain X11 display socket".
Workaround: запускать sshd с параметром "-4". Для Debian можно прописать его в "/etc/default/ssh".
