房屋验收单上签字了，但没有签协议，你不合理我不想交房了该怎么办？

我家动迁了,评估板上公示我家建筑面积是41米多,我就在房屋验收单上签字了,当我去拆迁办签协议时,发现建筑面积变成38米了,所以我们没有签协议,现在他们把我家门窗给拆了,他们这么做合法吗?只在房屋验收单上签字就可以拆房吗?我怎么样才能收回我的房子?紧急求助,多谢律师。