说起杨五郎出家五台山，只要是看过有关杨家书籍、戏剧的人便知，可谁都难以说出杨五郎出家的原因，不过，在代县流传着这样一个小小的传说。
传说，杨五郎出家也是出于万般无奈。当时，身为北宋掌朝太师、领兵大元帅的潘仁美，为了达到夺权篡政的阴谋，他设下圈套，哄骗当朝皇帝赵光义去北国参加“双龙会”，而引起了历史上有名的“金沙滩之战”。
却说当时参加金沙滩之战的杨五郎，为保大宋江山，奋勇杀敌，不是他机智勇敢，险些命丧于韩昌之手。五郎单人独马，使尽全身武艺，方才杀出重围。他只见黄土飞扬，天昏地暗，尸积如山，敌兵遍野，却不见大宋一兵一将，更不见杨家一兄一弟。杨五郎不由得双眼泪下，悲剧一幕幕呈现在眼前：大哥替宋太宗把命送；二哥为救大宋兵将，手托闸门，满身中箭，不做降将，拔剑自刎；三哥在混战中，被马踏如泥；四哥八弟被番妇抢去；六弟七弟是死是活不知晓；如今只剩下我五郎孤零零一个人。思呀思，想呀想，气得五郎痛不欲生。
杨五郎在进退两难之际，忽然想起一桩事。他急忙从怀中取出一个小红布包，打开一看，见有剃刀一把，五郎感到莫名其妙：“这有何用？”
原来，杨五郎当年随父游五台山时，老多爹领着七个参开老方丈，方丈一一合掌树过，只有看到五能时凝目的有笑不止。
杨五郎回到卧室，翻来覆去睡不着：“为什么老方丈难练的我才笑呢？看来其中必有缘故。”于是，五郎悄悄起床，最到力连室，要问个明白。老方丈见五郎前来，赔笑相迎。当五部说明来目时，方丈笑道：“此事不必多叙，我赠将军一件东西。”说着拿出红布小包，递给五郎道：“此物随身携带，不必打开。如遇大变大难，无路可走时，打开一看便知。”杨五郎双手捧着小红包跪谢道“多谢师父指点！”五郎走出卧室，老方丈站在门口，用手摸着思银须，含笑看着五郎走远，方才掩门安息。
此事，杨五郎从来没跟任何人说，一直随身带着这个小红包。事到如今，不得不将老方丈赐送之物打开了。五郎一看：里面只有一把剃刀，并无他物。他思来想去，猛然大悟：原来是师父暗里指点，叫我在无可奈何时，削发为僧。杨五郎手棒剃刀犹豫不定：他恨皇帝老儿靠的是忠臣，信的是奸佞。我杨家将忠心报国却遭到了这样的结局。五郎含悲忍痛，一气之下剃掉头发，直向五台山走去。
后来，杨六郎得知五郎出家五台山，大破天门阵请五郎下山，五即没答应，只有破一百单八阵中的罗汉阵时，五郎才带五百武僧下山，破阵后重返五台山，从末下山。五台山的五郎庙就是为规念这位将军而建庙塑像的，是五台山著名的四大神庙之一。
