I wasn't got to let him do it の意味は？

wasn't got to
は
〔get A to do〕Ａ（人など）に…させる［してもらう］
の受身形では？

「got to」は「gonna」の間違いでしょう。話し言葉が自動音声認識で文字に変換されたのなら、あり得るエラーです。「going to」のことです。