なぜ　of が必要？

確かにhave trouble doing somethingと言いますね。
Cambridge Dictionary 例
Parents often have trouble finding good carers for their children.

でもsave (avoid/take/go to) the trouble of doing somethingと言います。
Cambridge Dictionary 例
I'll go to the trouble of making an official complaint.

どちらも便利な表現なので、熟語として両方覚えておくといいですね。