thatと where の違い

b の文を直した上で、どちらが丁寧かというご質問でしたら、丁寧さに差はありません。日本語で言えば、「刺身や寿司を出すレストラン」なのか「刺身や寿司が出されるレストラン」なのかのような違いです。

a) I like Japanese restaurants that serve sashimi or sushi.

b) I like Japanese restaurants where sashimi or sushi is served.

✖　I like Japanese restaurants where serve sashimi or sushi.
◎　I like Japanese restaurants where sashimi or sushi is served.