with regret にはなぜ withがつくのですか？

It is with regret that..... で「残念ながら ... です」という決まり文句です。
同じ意味で、
Regretfully.....
Regrettably....
Unfortunately.....
があります。