本人有一套二手房，已与买房、中介签订房屋买卖合同，买卖过程中，买房以卫生间漏水和屋龄太长为由要求退房，具体情况如下：
1、已收取10万定金；违约金约定没收定金或者总房款的20%（大概22万左右）；
2、退房理由2个：
1）关于漏水问题说明：签合同时，签的是房屋没有漏水，但实际签订现场已告知买房人（买房人为夫妻双方、到场的是老婆），房屋买卖合同夫妻双方均已签字，本人当场有问中介，是否应该据说签署：“卫生间管道漏水，双方知晓，交房前修复到位”，中介意思是交房前修复到位即可，对方也没有当场就此事提出异议，故直接签订的不存在漏水问题。买方提出退房前，卫生间漏水问题已修复完成；而且，合同签订以后，买方就漏水问题在微信群咨询过修复进展，故对方是知晓这个问题的，不存在隐瞒，提出退房是合同签订一个月以后；
2）关于房龄问题：在签合同之前，本人从未与买方有过任何接触，是签合同当天第一次见面，见面对方也没有什么说话，未向我提任何问题，签完合同以后也未向我询问过任何问题，现在对方提出来说，中介当时跟他们说的房屋实际年龄与现在他们发现的不符（房屋我是12年底买的，实际合同约定交房时间是13年底，对方说中介说的交房时间是16年，导致他们对房屋年龄认知出现偏差），但是中介意思是，确实微信聊天的时候说的是16年，但之后看房见面的时候告诉她了是二期的交房时间是16年（看房的时候我没在场，全程中介处理的）。
3、听中介说实际退房原因：是夫妻双方在买房前就意见不合，老婆想买，老公不想买，当时约定是买房事情就由老婆处理，现在他们又觉得房子买贵了，所以找理由退房。说是老婆突然抱怨说房子实际不是16年交房的，老公就火气很大，要求退房。就找了以上两个理由。
4、目前进度：一阶段：买房将名下房子做长租房登记，好腾出指标将现在买的房做首套房利率，然后已经向银行申请贷款审批（合同约定他们先做贷款审批，审批下来以后我去还银行贷款撤押），目前银行基本已经审批完，评估公司通知我去房子拍照（对方提出退房的头一天），中介通知我去还贷款的当天，对方突然提出的退房，所以就暂停了评估公司拍照和还贷。合同约定的是对方处理长租房登记和批贷款的时限为30个工作日，目前已过去26个工作日，约定我还贷撤押的时间15个工作日。
想请问的是，作为卖方的我是没有违约责任，也不存在欺瞒，是不是可以直接主张违约赔偿，是主张没收定金还是20%房款？对方现在声称我不退定金就告我，是否他是告不赢的？还是我应该先告对方？什么时候告？
