大刀关胜出场时的官职蒲东巡检司，是当时不起眼的下级军官。在被丑郡马宣赞极力举荐攻打梁山后，他仅仅带领郝思文和十几个心腹，收拾刀马、盔甲、行李，跟随宣赞连夜起程，来到东京。在梁山他先后活捉了张横和阮小七。待到宋江从大名府挥师交锋，在看到关胜相貌后，便毫无底线地进行夸奖了一番，未交手便发出了“将军英雄，名不虚传”的感慨，引得林冲、秦明等人非常不满。
原文讲道：“宋江看了，恐伤关胜，便教鸣金收军。林冲、秦明回马阵前，说道：“正待擒捉这厮，兄长何故收军罢战？”宋江道：“贤弟，我等忠义自守，以强欺弱，非所愿也。纵使阵上捉他，此人不伏，亦乃惹人耻笑。吾看关胜英勇之将，世本忠臣，乃祖为神，若得此人上山，宋江情愿让位。” 林冲、秦明都不喜欢。”
宋江为何见到关胜后便喜不自禁？这和当时的社会风气有关，地位相貌决定一切，就算再有能力也是要看出身的。鼓上骚时迁在梁山立下无数战功，最后不是还是排名第一百零七位吗？关胜自诩“汉国功臣苗裔，三分良将玄孙”，自然在名气上就高出一截，而“绣旗飘挂动天兵，金甲绿袍相称。赤兔马腾腾紫霞，青龙刀凛凛寒冰”的阵势更是为自己加分不少，此外宋江还是不折不扣的招安派，他之所以广招社会名流上梁山，就是为改变“匪徒”形象，为梁山“洗白”，而关胜作为武圣关羽的后人自然引起他的重视。因此宋江设计呼延灼诈降关胜，诱他劫寨，被挠钩活捉，宋江亲解其缚并拜地请罪。于是关胜便和宣赞、郝思文一同投降了梁山。请注意宋江是“拜地请罪”，可见当时宋江的神态是多么的“妖娆”，关胜纵使一百个不愿意，也只得就范。
归顺梁山后，关胜因前来围剿的与单廷圭、魏定国二人是旧相识，便请缨前去抵挡。他与单廷圭交战二十余合，诈败逃走，诱单廷圭追赶，用拖刀计将其打落马下，单廷圭遂降。次日再战，关胜被魏定国的神火兵杀败，退军四十里。魏定国正欲回城，却得知凌州已被李逵、鲍旭攻陷，只得逃往中陵县。关胜又与单廷圭同入中陵县，劝降了魏定国，至此关胜的“五人小组合”完成。
梁山大聚义时他排名第五，力压林冲位列“五虎将”之首。这个排名很多读者认为有些过高，毕竟他和林冲、秦明、呼延灼等人在出身、官职、资历、功劳上有一定的差距，但为何关胜能力压群雄成为武将之首，这是有诸多方面的原因造成的。
第一：关胜是“忠义”形象的代言人。关胜身上承载了太多的意义，不仅仅是精神上的，还有道义上的。他身上有以武圣关羽为代表的“义”。而这种“义”从汉朝开始已经持续了千年之久，而非单为某一人、某一朝代效命的范畴，比宋江“小我的江湖义气”或者鲁智深的“无我大义”都要深远，有极高象征意义，所以无形中他已经成为梁山信义的代表者。
第二：关胜上山后也立过一些战功的。两次攻打大名府、收服单廷圭、魏定国，关胜都是主动请缨，并取得了不错的效果，后来征辽遇到辽国排名第一的兀颜光，梁山将领单打独斗都没有拿下他，关胜带领李应、柴进、宣赞、郝思文等人，并在花荣、张清的协助下，斩杀了这位辽国第一上将和他的军队。在征方腊的战役中他三斗石宝，打了个平手，最后用计逼得石宝自杀，并且还在他人协助下斩杀方杰，虽然这些战功都是在协同作战下完成的，但是也算是啃硬骨头的累活，其中应当有他一份功劳。
第三：关胜对时局的把控很清晰。在招安过程中，关胜没有表现得很迫切，而是审时度势做出了自己的判断。关胜在招安初期曾讲道：“诏书上必然写这些唬吓的言语，来惊我们。”这是很多人甚至包括吴用、宋江都难以认识到的，对于招安的困难和艰辛，他有着清醒的头脑骚，认为并非一朝一夕很轻松就能获取并达到满意的预期。
第四：梁山和宋江的现实需要。宋江一直自诩“忠义”，并在梁山扯起了“替天行道”的大旗。而这些措施就需要找寻一位代理人，林冲虽然身居梁山元老，武功高强，但是有“刺配”经历，名声上说不过去，而其他诸如秦明、花荣虽然有过战功，但背景资历尚浅，所以把关胜列为武将之首既可以达到最佳的“广告效应”，而且还容易在梁山服众，于是关胜理所当然的成了最佳人选。
而关胜的运气也出奇的好，在江南征方腊后他也是侥幸活下来的那一批人，回京后他受封武节将军，大名府正兵马总管。在北京带兵深得军心，后因醉酒失足落马而亡。纵观关胜这一生都与大名府渊源颇深。他从一个不起眼的蒲州巡检的下级军官被越级提拔，正是为了去救大名府；归顺梁山后他调转枪头两打大名府，使大名府毁了半座城，百姓也深受其害，可谓是罪不可赦；最终他又成为了保卫大名府最高的军事长官，关胜这一生兴也大名府、终也大名府，真是天道轮回造化弄人。而这一切皆因他身上背负着武圣后人的光环，才成就他鲜亮的人生。
