speak ill of A

speak ill of (someone/something) というときは、あるひとやものごとについて、悪口を言う、悪評する、というような意味で、対象は人とは限りません。
また、悪口を本人に言うのではなく他の誰かに言う、というのも、そういうことが多いとは思いますが、必ずしもそうとは限りません。

Weblio のエントリーに良い例が載っています。https://ejje.weblio.jp/content/speak+ill+of
https://ejje.weblio.jp/sentence/content/speak+ill+of

Jimmy Carter was the first former president to speak ill of a sitting president while on foreign soil.
Never speak ill of the dead.
You should not speak ill of a man behind his back.

〜〜〜
個人的な環境のせいかもしれませんが、この speak ill of (something/someone) という表現は、あまり使われているのを聞いたことがありません。ちょっと書き言葉っぽい表現なのかもしれません。

むしろ、一般の会話などでは、bad-month という動詞や、talk bad about 〜、say bad things about 〜 というような表現をよく耳にします。
You were bad-mouthing me yesterday, weren't you?
= You were talking bad about me yesterday, weren't you?
= You were saying bad things about me yesterday, weren't you?