Ich erlaube auf allen meinen Servern auch nur noch SSH mit Key auth. Ist bequem und sehr viel sicherer. Brute Force kannste damit vergessen :D

So weit kommen die ja gar nicht. Bevor der Server ihnen mitteilen kann, ob er Key auth, Passwort oder was auch immer akzeptiert, müssen sich Server und Client auf einen Algorithmus einigen, über den sie den Schlüssel oder das Passwort austauschen. Die meisten Anfragen scheitern mittlerweile daran, dass sie sich mit meinem Server auf keine gemeinsame Methode einigen können, über die sie dann Passwort-Bruteforcen oder was auch immer machen könnten. Wenn dann doch noch jemand mit ner vernünftigen Methode kommt und Bruteforcen will, steht da noch der sshguard im Weg.

Aber wie man sehr schön sehen kann, ist den Angreifern, die einfach nur SSH-Ports nach offenen Türen abklappern selbst das Probieren verschiedener Key-Exchange-Methoden zu mühsam/zeitaufwändig...

Habe ich bei meinen Servern vor kurzem auch gemacht, ausserdem noch den Port von SSH weit nach oben gelegt. Seitdem ist Ruhe und ich kann besser schlafen nachts.

Solange man der einzige Mensch ist der auf den Server zugreift, und meist eh nur von zu Hause... kann man auch einfach den Zugang auf seine home-IP beschränken. Ich mache das mit tcpserver.
Hier sind ein paar Beispiele, und was man noch so mit tcpserver und sshd machen kann:
http://thedjbway.b0llix.net/services/sshd.html
'benutze die djb tools seit Jahren, extrem zuverlässig und recht einfach zu bedienen.