not to go ではだめ？

needが助動詞として使われているのでは？(do can will 等の仲間)

goは助動詞の後につく動詞ですね。

このneedは助動詞で、主に否定文で使われ、
may goやmust not goと同じように、助動詞＋動詞原型となります。
なのでこのgoはもちろん動詞ですね。
それでneed not goとなるのです。

ただし一般的には他動詞のneedを使い、
You don't need to goと言います。

You don't need to go if you don't want to.
（行きたくないなら行かなくていい。）
じゃないですか？
go は動詞で行くという意味です。