in the luxury of annoyance の意味は？

全文を読めばはっきりしたニュアンスがわかると思いますが、この箇所だけを見ると、

luxury というのは、贅沢なもの・こと、という意味から、めったにないもの・こと、常にあるものではない貴重なもの・こと、という意味がありますので、

annoyance のすきを突いて
annoyance が出たことを良いことに

というような意味になるのではないかと思います。

アシモフであれば和訳が必ず出ているはずですので、和訳でその箇所がどう翻訳されているかを確認できると確実だと思います。