lookについて

You look pale.
この文を「私にはあなたの顔色が悪いように見える」という意味で解釈していたのですが、これだとlookしている人は私（I）であり、あなた（You）ではありません。
lookの主体はYouだと思うので英語の文の本来の意味は上記の日本語訳とは違うのではないかと思いました。

このような場合のlookの解釈の仕方、イメージ等についてご教示願います。