【英訳してください】そうはいわれても困る

If you say it like that, it will trouble me.

だと思います。