聞く・話す力を底上げするにはどうしたらいいですか？

脳内翻訳は、元の文が翻訳に不向きな時もありますし、必要なニュアンスによって訳は異なります。無駄な努力になってしまうことがあるので、おすすめしません。
例えば、「お互いに頑張りましょう」だと、Let's do our best!でOKな場合もありますが、状況によっては誤訳となります。これだとちょっとテキトーっぽく聞こえる場合もあります。
労い感を出したい場合は、その状況をなぞるのが無難な場合もあります。
例）It seems like we both have some stuff to figure out.

脳内翻訳より、言葉でなく気持ちでしゃべり、相手の言葉を耳入れるのではなく脳に染み込ます感じで会話してみてください。

変な精神論に聞こえるかもしれませんが、外国語でのコミュニケーションになると、言葉自体に集中し過ぎるせいで、コミュニケーションがうまくいかないことがあります。

外国語ではなく、相手が何を言いたいのか、自分は突き詰めると何を伝えたいのか、に意識を集中されると、ちょっと訊き返したり、ちょっと文法が間違ってもどうってことありません。

英語をそのまま理解して即レスするには以下のことをおすすめします。

いろんな会話を経験することです。実体験でも映画などを通した体験でもOKです。言葉は感情とともに出てくるものだと思います。「こういう気持ちの時、この言葉・フレーズを使える」と確認することで、堂々と使えるようになります。でも聞いただけではもちろんだめで、メモしてから練習が必要です。英語をあなたの日本語ではなく、あなたの感情と結び付けてみてください。

リスニング能力に関しても、同じことが言えます。いろんな会話を聞いてください。What are we going to do?は発音すると、「ワラウィガナドゥ」みたいに聞こえる時もありますよね。書かれていることと、全然違う時があるので、いろんな人の英語を聞くことをおすすめします。英語を聞く量と頻度を増やす必要があるのかもしれません。

また、英語の歌を歌うのもおすすめです。頭と口を英語に慣れさせる良い方法だと思います。

「英語を英語のままで理解し即レスする、瞬発力を鍛える方法を探している」というのは、もう完全に英語力の頂点を目指すことでしかないのですが、でも結局、英語を「読む」、「聴く」、「話す」、「書く」をバランスよく勉強していくのが、そのレベルに到達する近道だと思います。私は物覚えが悪い人間なので10年くらいかかりましたが、今はポッドキャストとか聴いてても知らない単語もなく、ほぼ100％聴き取れ、理解もできるようになりました。