海外ドラマで勉強してる方、教えてください。

テキストでの勉強は苦手で、好きなドラマを見て、英語力をのばしたいと考えています。TOEICは、700点までもう1歩という程度です。
日本語字幕、英語音声で見て、気になるフレーズがでてきた時に、すぐ、巻き戻して、英語字幕、英語音声に変換して、それらを書き留めて覚えるという作業をしています。
この勉強を始めて、半年たちました。
楽しく取り組めていましたが、
最近、好きなドラマなのですが、出てくる単語やフレーズを書き留めて理解したい、覚えたいという気持ちは、ありますが、その作業を辛く感じるようになりました。

私には今見ているドラマはレベルがあっていないということなのでしょうか？
どうすれば、辛く感じなくなるのでしょうか？