集资房转让协议

我将自己名下的120平米的建房指标转让给别人了,转让费1万元,现在不想转让了,协议上签订任何一方违约都要付5万的违约金,我想问哈,违约金的赔付时怎样算的,我可以要回房屋的使用权吗,谢谢。