劳姓起源于汉代，始祖乃南越王赵佗之后人赵（劳）森罕。

赵佗（？—公元前137年），河北真定（今正定）人，秦代时曾任南海郡龙川县令，后为南海尉，秦末，他兼并桂林郡、南海郡和象郡，建立南越国。汉高祖十一年（前196年），赵佗接受朝廷招抚，被封为南越王，成为汉朝异姓封王的特例。吕后主政时，赵佗自称为“南越武帝”，并发兵进攻今湖南境内的“长沙国”；吕后死后，赵佗又再次归附汉朝。据其十二世孙裕南所记劳氏得姓缘由，赵佗之所以再次归汉，是因为他听了最小的儿子森罕的力劝，汉景帝因此赐赵佗的小儿子森罕姓“劳”，封地山东崂山。