现在市场二手房便宜，我们也是刚需，房子四十万，自己银行货款20万，父亲说好给我十万买房，交接的时候也有过去看房子，也没说什么，相当于默认支持了我们买，等过户买了房第二天不知道是身边那个人给下的耳药，一直骂我们，叫我们去退掉，如果退掉，违约金等费用就相当于损失不少钱，他现在气势汹汹三天两头来吵找我妈吵架，真是服了恨我不够强大去凑他的钱，如果手上有余钱，我立刻拿回给他。你们说，现在该如何面对他三天两头吵架跟闹。