我是房东,买家通过中介找到我想买我房子,但是定金协议签订后,买家又因贷款下不来请问定金我可以拒绝退还吗?

你好,我是房东,买家通过中介找到我想买我房子,但是定金协议签订后,买家又因贷款下不来,想取消这笔交易,因为这个过程中我这里有很多隐形的损失,请问定金我可以拒绝退还吗?