95年弟找我,要把(紧挨我的一间)房卖给我,说院子小只能造一

95年弟找我,要把(紧挨我的一间)房卖给我,说院子小只能造一堂房子但却没有明确说明相连的一块空地是否一起,当时我的理解是一起的,因为农村里都是这样的,不然我也不要。后来我就在这上面造了一间厨房.一个简易棚子养蚕放农具,并在三面买来石头垒砌了1.5米高的护提圈了围墙一直至今,期间他没有提出任何异议。直到去年我要撤老房子造新房子请他去过户时才提出空地是他的,户过了我房也造好了,今年就是不肯给我做地面,并把我新房超过的1米多(正好一扇门)给拦了,请人协商后要5万。请问我该不该出?还有其他办法吗? 收起