After 6 year study,he returned to Japan.

After 6 year study は間違いです。なぜかというと、
6 year を形容詞的に使いたいのであれば、単数でハイフンでつなぐ必要があるからです。
この場合 study した人が he とわかっているので、
After his 6–year study,
とするのが妥当だと思います。
ただしこの言い方だと、6年間の学業がかたまりとして決まったものとしてあるような印象（例えば最初から6年間と決まっていたとか）が出ますので、

結果として6年勉強した、と言いたいのであれば、名詞を study ではなくof studying にして、
After 6 years of studying, ということもできます。studying は動名詞なので冠詞は不要です。またこの場合、6 years は名詞として働いているので、ハイフンは不要で、複数にしなければいけません。