汉武帝时，卫青的姐姐卫夫子得到武帝的宠爱，卫青后来也当上了大将军。霍去病的母亲卫少儿是卫青和卫子夫的姐姐，这样，霍去病和卫青又是甥舅关系。由于上面这些关系原因，卫少儿便得以经常出入武帝的皇宫。
相传，霍去病生下不久，还没有来得及起名字，有一天，母亲抱着他去深宫探望妹妹卫子夫。皇宫之内，一派肃穆气氛，人们说话都静悄悄的，走路都轻轻的。卫少儿抱着霍去病，轻轻地拍着，只怕他哭闹起来惊动皇上，那就不得了。谁知霍去病偏偏放声大哭起来，吓得卫少儿浑身打颤，一步也挪不动了。只得站在那儿，等候皇上降罪。
这时，汉武帝正在床上躺着。他感冒了，昏昏迷迷地，猛然只听见“哇哇”几声婴啼，惊得出了一身冷汗。没想到这身汗出的潦，竟把伤风感冒治好了。他一时高兴，忙问：“那是何人”？卫少儿一听，吓得魂飞魄散，但皇帝召唤，又不敢不去，只得提心吊胆地抱着霍去病走上前去，跪倒在地，连称“死罪”。
汉武帝见是卫少儿，便赐了坐，还叫她把怀里的儿子抱过去。武帝把孩子抱在手中，龙颜大悦。他百般戏逗，孩子也笑得咯咯直叫，武帝越发高兴，便问卫少儿：“孩子可曾起名”？卫少儿忙答：“还没有”！武帝一听笑道：“寡人新近身体不适，这个孩子大啼一声，惊得寡人出了一身冷汗，病疾霍然而去，联就以此给孩子赐名‘去病’，你看如何？”卫少儿连忙跌倒叩头，口称“谢主龙恩”。
从此，卫少儿的这个孩子就取名霍去病，后来征伐匈奴，功贯寰宇，被封骠骑将军，冠军候，死后陪葬茂陵。人们还在墓冢上修建庙宇，四时香火不断，一来纪念他的功勋，二来希望他赐祥降福，禳灾“去病”。
