почему в предложении My brother hates washing the dishes
пишется washing, а не to wash?

потому что правило.
Если объяснять на пальцах:
Если объяснять на пальцах:
my brother hates washing the dishes - он вообще терпеть не может это дело
my brother hates to wash the dishes - ему сказали помыть вот именно сейчас

Потому что он делает это сейчас в данный момент а когда в данный момент то используется правило present continues