逾期3天不交房租,租期满了,想搬走,房东不退押金,责任在谁

没有签租赁合同，只是口头说压一付一，3个月起租，并在发票注明压一付一，3个月起租。我是今年3月15租的，并且交了押金，以后每个月按时交房租。这个月15号我跟房东说迟几天交，他同意了，18号我跟他说我搬走了，他说超出了3天要按一个月付钱才可以走，要不然不退押金。