使用する場面というか、answerの品詞が違うと思います。
answerは質問に答えるの意味の場合は他動詞として使うので、前置詞は必要なく
answer the questionになります。
一方、answerを名詞と考えると、toを入れる必要があります。
answer to the question
日本語で考えると
answer the question (質問に答える)
answer to the question (質問への答え)
ちなみにanswerは自動詞としても使えるので
answer to ~を見かけた場合は、自動詞の方の意味を参照するといいと思います。