I love all of you. は間違いではありませんか？

I love all of you. は文法的に間違いではないと思います。
それは、the people = you という置き換えが可能だからです。

I love all of you. というと、具体的に目の前にいる（もしくは念頭にある）複数の人たちを前にして、一人一人みんな好き、という感じかな（I love each one of you. に近い）と思います。

よく聞かれる表現は、
I love you all.
です。これは、you という複数の（大抵は不特定多数の）人々に向かって、みんな大好き！という感じの表現です。