土地买卖纠纷

我因建房买了本村村民的一处土地,协议上写明的是永久租用他的土地,钱已经一次性付清,现在他要求我在这块土地上让出80个平方给他做路用,我不想让,因为我房子准备修在这上面,让出来了,我自己就少了80个平方!请问,如果他起诉我,我与他写的协议能证明这块土地属于我吗?我可以不让给他这80个平方吗?