我与人换房,签了协议三年不能换回。现在对方想把房换回去,给违约金但让我立及搬走,我没地方去,怎么办

因为孩子要上学,我与人换房,签了协议三年不能换回。现在对方想把房换回去,给违约金但让我立及搬走,我现在又找不到合适的房,没地方去,怎么办?如果我搬走了,而我原来自己的房没租出去,对方应给我损失么?谢谢。