OSVのOに名詞節は置けますか？

まずOSVという使い方は存在しないと思います。

また質問の文ですが、
I don't know if he will come.の使い方の場合、if 以降は名詞節になりますが
If he will come,～　の使い方の場合、副詞節になります。

副詞節の場合は、もし彼が来るなら～という意味で名詞節と意味が変わってしまうため、質問の文では意味がおかしくなります。