its material

セーターの素材、と言う時に、
the material of the sweater という言い方もできますし、
the sweater's material と言うこともできます。
's は無生物でも使うことができます。（日本で無生物の場合は of を使うと習いますが、それは 's を使えないということではありません。）
以下は、"sweater's material" が実際に使われている例です。
This sumptuous ribbed turtleneck sweater's material perfectly hugs your body.
The sweater's material does shrink when dried or washed in warm or hot water.
This sweater's material is super nice.
ニュアンスとしては、of を使ったほうが「何の」という部分がはっきりするので、正式な（かしこまった）表現になりますが、無生物に 's は一般的に多用されます。

the material of the sweater / the sweater's material の the sweater を代名詞 it で表現するとすれば、仰るとおり所有格で
its material
となります。