在虞昌勖私生活方面，张业无法干涉虞昌勖亲近乐官，歌姬，伶人，也无法让虞昌勖做到不被美色左右。

    虞昌勖的原配是卫国夫人韩氏，其次有两个妾室是伊夫人和刘夫人。其中刘夫人最受虞昌勖宠爱。

    刘夫人的父亲是以行医占卜为业。刘夫人小的时候，被晋国将军袁丰掳劫，后把她送进了王宫。刘夫人性情狡猾泼悍，放荡，好忌妒人。她跟随虞昌勖在魏州，其父听说她已经显贵，就来拜见虞昌勖，虞昌勖召袁丰来辨认这个人是否是冒名顶替。

    袁丰说：“当初得到刘夫人时，有一个黄须老头保护着她，就是这个老人。”虞昌勖把这番话告诉了刘夫人，刘夫人这时正和其他几位夫人争宠，互相比门地高低，对她的出身寒微感到耻辱。她非常生气地说：“我离开家乡时的情景还大概记得，我的父亲不幸死于兵乱，我曾守着他的尸体痛器，然后才离开了他，今天哪里来的什么乡巴佬敢到这里？”于是让人在宫门口把刘老头儿打了一顿。

    张业知道后，觉得刘夫人这种不孝的行为有违纲常，就出来建议虞昌勖仔细做一下调查，可是虞昌勖说：“人还能不认识自己的父亲吗？”

    不涉及军国大事，张业没有坚持，但是他担心刘夫人如此得宠，几个巴结刘夫人的人都已经升官，恐怕虞昌勖最后会被美色左右，影响大业，但是无论张业怎么说，虞昌勖都是哈哈一笑，没有理会。