文法的にどうなっているのかよくわからないのですが

通りすがりですが、プロの通訳者さんの解説でわかりました。
ユーキャナットカムトゥーオーフンの部分は「あなたが頻繁に来すぎることはありえない」ってのが直訳で、「(めっちゃうれしいから)何度でも来てよ」って意味になるんですねぇ

あんまり来れないのに（来てくれて）本当に嬉しいよ。
Such is the pleasure は　What a pleasure と同様のニュアンスで使われています。
英語圏生活者の感覚的なものなので、文法的には説明できませんが・・・。

such is .... that じゃないですか？
so that と同じようなものですね。

ただし、わかりにくくしていると思われるのは、such と the pleasure (that/which you give)の倒置が起きている点です。

the pleasure (that) you give is such that you can not come too often
と考えればわかりますか？

the pleasure that you give （あなたが下さる喜びは）

such that you you can not come too often (ちょくちょく来ていただいてもいいぐらい大変なものですよ）

ここでsuch that （それほどに〇〇）を強調すべく倒置させています。

まわりくどい日本語になってしまいましたが、意訳としては
あなたが来ると本当にうれしいので、何度でもいらっしゃってください。