副詞の用法について

I remember him hardly. と言ったときに、hardly という副詞が動詞 remember とその目的語 him の両方を修飾している、という理解がわからないのですが、

I remember him hardly. と言えば、hardly は副詞で、それはこの文章では動詞にかかっている、と考えるのが自然だと思います。

I remember him hardly. と言っても、I hardly remember him. と言っても、hardly という副詞が remember という動詞にかかっていることは同じなので、文の意味は変わりませんが、I remember him hardly. と動詞から離して副詞を最後に置いているので、若干 hardly という副詞が強調されるかな、という感じがします。もしくは、I remember him... と言っておいて hardly とつけるということなので、彼を覚えている... っていうことはほとんどないね、というような、ちょっとどんでん返しっぽい表現になると思います。

hardly という副詞は ly がついているので文末につけても違和感がありませんが、例えば同じような頻度を表す副詞 seldom は、
I seldom take this bus to commute.
というところを
× I take this bus seldom to communite.
と言うと副詞と動詞の関係がわからなくなって、意味が通じなくなります。