不定詞　動名詞

He refused to answer the question. to 不定詞は、 ”少し先の行動についての話をする時に”ということであれば、”彼は断った” ともうすでに過去のことになっているのに何故、to 不定詞が使われるのでしょうか。