仮定法過去完了を過去形で表してもいいの？

I would not have had to do this if you had listened to me.もし私の言うことを聞いてくれたら、私がこれをすることはなかったでしょうに。このような表現をネイティブではない日本人が発話するのは難しいです。シンプルに過去形で表現しても同じようなニュアンスで伝えることはできますか。例）I didn't have to do this if you listened to me. 正確な英語というよりも、ざっくり伝わるか、という点が特に知りたいです。