count my lumps の意味は？

今読んでいる小説に　You'd have to count my lumps.　という文が出てきました。これはどういう意味なのでしょうか？状況は、孫娘が祖父に質問して祖父がまずこう言って、その後 But, yes ... と続きます。
よろしくお願いします。