Do you mind if I bring my friends ?

ダメな場合はyesです。
さすがにこれはぶっきらぼうで「嫌だ」という答えになるので、
もっと丁寧に
Sorry, I'd rather you didn't.
と、「悪いけど、そうしないでほしい」という言い方ができますし、
Actually yes, the party is in a small place.
など理由もはっきり添えて答えるといいかと思います。