中惠香樟绿洲收了我5万元定金,由于对开发商的认购书有异议,我拒签,开发商以此要没收我5万元定金.怎么办

2013.4.7中惠香樟绿洲房地产开发有限公司收了我5万元定金并签定了《临时定金协议书》准备购买开发商的样板房。之后发现样板房有一股很刺鼻的味道让人头昏担心会影响身体健康，且开发商《认购书》诸多对购房者不利的霸王条款因此我拒签。开发商以《临时定金协议书》为要挟，如若拒签将没收我的定金。