懸命に努力していなかったら彼は成功していなかっただろう

仮定法過去でも良いと思います。この人が現在成功しているのであれば仮定法過去ですし、過去のある時点で成功したのであれば仮定法過去完了です。この日本語の「成功していなかっただろう」は、そのどちらにも解釈できると思います。

日常生活では、状況によって使い分けるので楽です。でも日本の試験問題では、そういった context がないので、その代わりに、「こういう日本語はこう英語に訳す」のような、ルールがあると思います。そのルールのことを、その英語の先生は仰っているのですよね。

成功したのが過去のことなら
If he had not worked so hard, he would not have succeeded.

過去に成功した状態になったのなら
If he had not worked so hard, he would not have been successful.

今、成功している状態なら
If he had not worked so hard, he would not be successful (now).

お悩みは、日本語から英語を作り出す（翻訳する）学習方法の inconvenience です。そういう試験のために英語を学んでおられるのであれば、訳し方のルールを知っておかないといけません。

そうではなくて、英語を自由自在に使えるようになるのが目標なら、仮定法を使うときに、過去のことに反対のことなのか、現在のことに反対のことなのか、それさえ意識していれさえすれば、大丈夫ですよ。

元塾講師です。
あくまで受験英語的な観点で回答します。

仮定法過去というのは、入試問題などで問われる場合
副詞節と主節の時制が一致していることが多いです。

そこで出題者の意図として副詞節を仮定法過去完了、主節を仮定法過去としたい場合
副詞節の方に｢あの時｣｢〜年前｣、または主節の方に｢現在｣｢今｣などの日本語が入り、時制が異なることを明確化させます。例文で言えば
「あの時」懸命に努力していなかったら、「今頃」彼は成功していないだろう
などです。

日本語の意味から考えることも大切ですが、
この場合は時制を表すキーワードに着目してみてもいいかもしれません。

帰結節を仮定法過去（現在の事実とは反する仮定）にするなら、元の日本語の表現は、「彼は(今)成功して"いない"だろう」でなければならないと思います。

対して設問は「彼は成功して"いなかった"だろう」と言っているので、これは過去の事実に反する仮定のことになると思います。このため条件節も帰結節も仮定法過去完了が正解なのだと思います。なので、英語の先生がおっしゃられている 「いなかった」は過去のことを意図している、で正しいと思います。