"〜才の時"とは英語でどうやって言いますか？

「～才の時に北海道に行った」を例文に取ると、

When I was ～years old I went to Hokkaido.又は
I went to Hokkaido when I was ～years old.
になるので、どちらにせよWhenは使われます。

また、よほどフォーマルな文でない限り years oldは付けなくても通じる場合が多いです。