这两个姓氏都起源于日本古代，天皇赐于一些武士护卫天皇的大门的职务。

这些武士认为这是莫大的荣耀，他们护卫着天皇及神的进出之门，是忠诚的体现，被选中的佼佼者。

随着推广一些皇亲国戚或是有权利的人也在自家门口设置了“卫门”这个职务，让自己的家臣做保安。所以推广开后就有了“卫门”这个称呼，后来随着时代变化，慢慢的就变成了名字（不是姓氏），并演化出左卫门、右卫门及左右卫门