下記の内容のto whom~a livelihoodの文章構造がわかりません

If victory were the real goal, a skillful player would prefer to have an unskilled one as his opponent , but only those to whom a game is not a game but a livelihood prefer this.

Those の説明としてto whom 以下があり、prefer が動詞　thisが代名詞(目的語)としての役割を果たしているということはわかります。
to whom から but livelihoodがわかりません。
to whom以下が完全文になっており、付け入る隙がないように思います。

質問自体は以上です。下記は私の意見なので読み飛ばしてもらっても結構です。答えが出ると自ずと解決するようなものです。

私の混乱している点は、3点あり、
・第一にwhomはそれ以降の文章に目的語を挟むという知識を私がもっており、それと噛み合いません。
・二点目は、thoseを修飾している以上whom=thoseだと思っていますが、those to thoseと意味のわからない状態になっています。
to thoseは省略してthose that a game ...ではダメなのでしょうか？
・三点目は、whom自体が何か長い文の省略であるなら、ナニを省略しているかわかりません。

2点目と3点目はこじつけのようなもの、無理やり巻が強いものだと思っていますので、深く追従しなくても結構です。