He got to me. the weather is getting to me. の意味は？

ということですね。

解説例:
get to 人 は、人や出来事などのせいで精神的、肉体的にこたえる、まいる、不愉快な気分になる、イラつく、しゃくに触る、落ち込む、などを意味し、何かに悩まされているイメージのインフォーマルな表現です。
https://ez-eigo.com/blog/wp3/get-to-someone/