Listen of me

Ko-Nish様、N. S.様、ありがとうございました！すっきりしました！

必ず listen to です。listen of はありません。

私の勝手な想像ですが、ask of と混同しているのではないでしょうか。日本語で「聞く」と言うとき、「尋ねる」という意味で使っていることがありますよね。それなら、英語は ask です。
　　　Ask me the question.
　　　Ask the question of me.
どちらも「その質問は私に聞いて」です。普通よく使われるのは前者の方です。日本人がときどき ask to me とか ask to you と言いますが、ask に to を使うのは間違いです。

そのような言い回しは、ないと思われます。
私は聞いたことありません。Ludwig という例文検索エンジンにかけても何もヒットしなかったです。