回答
原理としてはそうなります。
日本語でもそうですが、英語でも、時制（時のセンス）を過去にずらして、実際はそうじゃないんだけどそうだったらなぁ、という表現をします。
I wish I did. は、文法的には仮定法過去、と呼ばれていますが、実際には wish が現在形であるところを見て、いまの時点で〜だったらなぁ（でも実際はそうじゃない）、ということを言っています。
I don't speak Korean at all. I wish I did.
(= I don't speak Korean at all. I wish I spoke Korean.)
ここでの I wish I did. と言っている did は = speak Korean のことです。
I wish I did の did が「する」という意味の動詞ではなく、ある一般動詞（上の例では speak）の反復を避けるために形式的に放り込まれている形だけの動詞としての do で、そこに仮定法過去がかかっているので、do ではなくdid になっています。
これが、過去の時点で〜だったらなぁ（でも実際はそうじゃなかった）、ということを言おうとすると、おっしゃるとおりそれぞれの動詞の時制を過去の方向にずらして
I wished I had. となります。
wish の現在形は過去形へ、did（=speak Korean）は過去の過去、つまり大過去ということで、過去完了形を使って had done (=had spoken Korean）となります。（仮定法過去完了、つまり過去の時点での仮定の表現）
この I had は、上の例文で言うと、I wished I had spoken Korean. なわけですが、I wished I had "done". と言わないのは、had done の done が、ある一般動詞の反復を避けるために形式的に放り込まれている形だけの動詞としての do であるので、had done と言うまでもなく、had と言えばそこが大過去（過去完了形）になってるんだな、っていうことがわかるということで、さらに省略されることがほとんどです。逆に、I wished I had done. と言ってしまうと、その done が「する」という意味の動詞に聞こえてしまって、聞いている方としては「done WHAT?」とつっこみたくなってしまうわけです。