you know の意味 を英語に訳すと？

後半、時制がおかしな文です。直します。

There is something special about going somewhere you know that many other tourists do not even think of going.

you know が挿入されているのは、「知っている」という意味があります。

「他の多くの旅行者が行こうと考えもしない場所だ」ということを知っている場所に行くことは、何か特別な感慨がある。