房子临时合同反悔了

我们房子抽了房号，我是小房想换大房，与大房签订了临时的一个换房合同，他现在反悔了，当时写着要补齐差价再多给他两万，要是反悔就赔对方10万，但是特殊情况除外。他现在反悔了，我该怎么办，请知道的人或者是律师给出个主意