雇员前往工地途中遭遇车祸，雇主应否赔偿损失？

小保：四个月前，李某雇用我为其在15公里外的货场装卸货物。我在早晨驾驶摩托车从家里前往货场上班途中（系必经之路），因一辆小车突然违章变道，将猝不及防的我逼下路坎，导致车毁人伤，损失达3万余元。由于小车司机已经逃逸，使得我无法向其索要赔偿，我只好于近日要求李某担责。可李某认为，我的损失只是发生在途中，尚未开始工作，也不在工作场所，即与其无关，更何况损失是小车司机的违章行为所引起，故我无权向其索赔。请问：李某的观点对吗？