先行詞に名刺が連続して二つありことについて

The other day, he lent me the novel, the story of which I could not understand well.
カンマで挟まれている部分（今回はhe lent me the novel）に関しては、その分自体の補足説明と捉えていいと思います。
なので日本語訳すると、「先日、彼が小説を貸してくれたんだけど、その内容が全く理解できなかったんだ」となります。

The boys were playing a game the rules of which I could not understand.
これに関しては、「playing a game that the rules」と考えるとわかりやすいのではないでしょうか？関係代名詞のthatは省略することが可能なので、今回は省かれているという解釈です。