基本は
期間がある程度 限定できるなら time で
期間が あいまいで 長い感じがするなら times でよいと思います。
Roman times とも言うので ひとつのことでも time と 言ったり times と言ったりされることはあると思います。
ただ、もちろん 限定的だ あいまいだ は主観的な判断だけでなく the time of the Romans という言い方が 世間でそこそこ使用されているか のチェックはしたほうがいいと思います。
主観的な判断と 言語習慣との兼ね合い というところでしょうか