离婚时私下协议房子归女方,现办房产证,被告知房产证上要双方的名字

我们的房子属家居房,当初离婚时还没拿到房产证,离婚时只是私下协议将房子归女方所有(未公证),现村里集体办房产证了,被告知房产证上一定要写两人的名字,因为协议未公证过,所以到时过户给我时就要看男方愿不愿意了.而且过户还要产生一笔可观的费用.请律师帮忙,我该怎么办??