关于房屋未过户的困惑

你好我于2001年底买的房子,但原房主一直不肯合作办理过户手续,他觉得当时的价格现在来看,卖亏了。那我一直不过户,对于我来说他会不会随时可以收回原房屋。