与男友分手后他跟我要共同买房钱

我与男朋友共同出资买房,合同上写的我的名字。现在分手后他跟我要他出的房款。我不给他,他要起诉我,按法律我必须给他吗?怎样才能不给他。