单位未建立工会,违纪员工能否据此拒绝解除劳动合同?

正小保:我由于家中有事,曾在三个月的时间里6次向公司请假,但全都被公司以并非非准假不可,我完全可以通过其他方式调剂为由拒绝。而我均不顾公司没有批准,赌气没有上班。近日,公司以其规章制度及其与我的劳动合同中已明确约定,未经准假而不上班视为旷工,一年内连续旷工五次以上,公司有权单方解除劳动合同,决定将我解聘。鉴于《劳动合同法》第四十三条规定:"用人单位单方解除劳动合同,应当事先将理由通知工会。"而我所在的公司并没有建立工会,公司自然没有履行通知工会的程序。请问:我能否因为公司没有建立工会而拒绝解除劳动合同?