二手房买卖更名纠纷

03年我购买了一处二手房,当时与房主签了买卖协议(但并没有户口本上全部人签名),他的单位和我的单位也出示了介绍信。由于房主就住在我所买的房子的隔壁,所以没急着更名,06年开始不断找他更名,他却推脱工作忙一而再的没有配合我更名,请问我的房子购买上有问题吗?至今没能更名会不会对房子归属问题照成影响?