没有登记也要受婚姻约束吗

我有过一次不幸的人生遭遇，曾于1985年没经登记就草率地拜堂成亲，第二年还生了小孩。孩子刚几个月男方犯罪入狱，我把孩子托交给他大伯后离家。后来，我登记结婚重新组建了家庭。如今我们的儿子都6岁了，家庭美满。谁想华子（就是当初那个男人）出狱后辗转找到我，口口声声要我去法院解除婚姻关系。