关于出租房屋中介问题

我有一套房子,委托出租房屋中介出租,后来我发现出租房屋中介将我的房子租给了十几个人,而且还改变了我房屋的结构,我要求解除和中介的委托关系,中介公司不同意,还让我承担违约责任,这种情况我该怎么办?