卫青的母亲是卫媪，是平阳侯府(平阳公主第一任丈夫曹寿家)的仆人，姓名史书不载，因为嫁了个不知名的卫姓男子，所以称为卫媪。

卫媪跟卫姓男子生下了三个女儿一个儿子，分别是卫君孺、卫少儿、卫子夫、卫青。

卫姓男子死后，卫媪因为养活不起这四个孩子，就平阳小吏郑季。后来，卫媪又跟郑季生下了两个儿子卫步和卫广。