回答
形式としては、「遅い返事にすみません」という表現と「返事が遅くなったことにすみません」という表現があります。
まず「遅い返事にすみません」だと
I'm sorry for the late reply.
になり、「返事が遅くなったことにすみません」だと
I'm sorry for being late in replying to you.
になります。いずれもveryだけでなくawfully, terribly, deeplyのような副詞をsorryの前に入れられます。
またネーティブがしばしば言う言い方で
I'm sorry I didn't reply sooner.（すぐ返事しなくてすみません）
というのもあります。
私の友人（ニューヨークの米国人）はよく、I'm sorry for my tardiness.（遅くなってすみません）とメールで書いてきます。
友人や家族に言うのであれば次のような言い方が良いでしょう。
(1) I'm sorry for this late reply.
(2) I'm sorry that I replied to you so late.
(3) I'm sorry for not getting back to you sooner.
(4) (Please) Excuse my late reply.
訳例(1)
"be sorry for [名詞]"の形で、「～についてお詫びします」という意味です。
訳例(2)
"be sorry that SV..."という形もあります。
sorryにthat節を続け、「SがVしてごめん」と表します。
訳例(3)
forの後ろに動名詞の否定形を使うと「しなかったこと」を詫びる言い方になります。
訳例(4)
"excuse [名詞]"で「～を多めに見る」という意味です。
その命令文の形ですが、若干丁寧なニュアンスになります。
「返信」は、replyを使うのが一般的です。
名詞で「返信」、動詞で「返信する」です。
動詞の場合、"reply to [人]"（～に返信する）というフレーズで覚えておくと良いですよ。
また、訳例(3)のように"get back to [人]"（返信する、折返し連絡する）というフレーズもあります。
参考になれば幸いです。
以下２つはカジュアルな表現となります。
・Sorry for the late reply.
「遅くなってごめん」といった具合の表現です。
この後にI was at work（仕事中だった）などの遅くなった理由を付け加えることが出来ます。
・I'm sorry it took so long to get back to you.
get back to～で「～に返事をする」という意味になります。
took so longで「こんなに時間がかかってしまい」というニュアンスになります。
以下はフォーマルな表現です。
・I apologize for the delay in replying to you.
ビジネスメールなどの仕事に関する返事が遅くなり謝罪する場合はapologizeが適切です。