有争议的荒地进行建设确实存在法律风险。根据相关法律规定，农村荒地可以用于建设住宅，但需要遵循一定的程序和条件。首先，需要在建房子前向当地土地管理部门申请并获得批准。其次，如果涉及到占用农用地，还需要依照《中华人民共和国土地管理法》的相关规定，办理农用地转用审批手续。如果没有经过这些法定程序而擅自建设，土地行政部门有权要求拆除违法建筑，并可能对当事人处以罚款，甚至收回土地使用权。

此外，需要注意的是，每个家庭通常只允许拥有一处宅基地，且应节约使用土地。因此，如果一个家庭已经有了一处住宅，再次在该地上建新房可能会被视为不合法，因为这超出了规定的宅基地面积限制。