违章建筑就可以随意拆除而不用赔偿吗

不能随意拆除，拆除前需取得有关部门的批准，否则会被追究刑事责任。而若违章建筑主人和受害者之间发生了房产纠纷，可以依据民法总则第一百七十三条规定，对违章建筑主人进行行政处罚，并赔偿受害者的损失。