战国时期，薛国的毛遂不知什么原因没有投奔孟尝君，却跑到赵国的平原君门下为士。其初三年默默无闻没被重用，后在一次外交谈判中初露锋芒，脱颖而出。
赵国孝成王九年（公元前257年），秦昭王派重兵围攻赵国都城邯郸。赵国在长平被秦国打败，没有力量抵抗，形势非常危急。赵孝成王急令平原君赵胜想办法向楚国求救。平原君是赵国的相国，又是赵王的本家，保卫赵国是他义不容辞的职责。他深感责任重大，决心带领人员去楚国与楚王谈判联合抗秦、解救赵国之事。
平原君知道此行关系到赵国的生死存亡，而要达到此行的目的，关键在挑选文武全才的随从。在挑选人才是他说：“我们去楚国谈判，要挑选二十名文武全才的人与我同去。如果谈判成功那是上策，如果谈判不成，我们就以死相逼，力争楚国出兵救赵。不达到目的，绝不生还。”平原君在他的千余名门客中，挑来挑去，只选中了十九人，尚缺一人。他正着急，有个坐在末位的门客站了起来，自我推荐说：“我愿随君前往楚国。”平原君有点诧异，说：“先生叫什么名字？到我门下多少日子？”那位门客答道：“我叫毛遂，到您门下已有三年了。”平原君摇摇头说：“有才而贤良的人处世，就像锥子在皮囊之中，很快就会显露出来。你在我门下已有三年之久，周围却没有人称颂你的才能。我也没有听说，可能是先生无能，你不能去，还是留下吧。”毛遂回答道：“这是因为我以前没有机会施展我的才能，所以您与周围的人不了解我。今日用我，如置锥于囊中，可以脱颖而出。”于是，平原君同意毛遂出使秦国，同行的十九人投以鄙视的目光，嘲笑他自不量力。
在去楚国的路上，毛遂滔滔不绝地与众门客高谈七国争雄的局势，有条有理地分析赵楚联合抗秦存在的问题，他的观点得到同行者的赞同，博学善辩的才华折服了众门客。他们开始重新认识、评价毛遂。到达楚国之后，平原君率随从与楚王及大臣就联合抗秦、出兵解围之事进行谈判。平原君详细分析了当前的形势，以及赵、楚联合与不联合的利弊得失，希望楚王尽快出兵解围，以救燃眉之急。可楚王犹豫不决，举棋不定。谈判从早上到中午，不但没有成效，几乎成为僵局。
在这进退两难之际，平原君的随从多数束手无策，毛遂却手按腰中宝剑，沉着冷静地走进议事厅，问平原君：“关于联合抗秦之事，两句话就可以说清，为何从早上谈到中午还没决定？”楚王一看来者不善，问平原君是什么人。平原君告诉他：“此人姓名毛遂，原是我的门客，现为来访成员。”楚王大怒，呵斥道：“还不快快退下！我正与你们的首领商谈，不要你胡言乱语！”大厅内顿时鸦雀无声，非常紧张，平原君一时语塞。
在这个关键时刻，毛遂不但未退，反而又向前几步，手按宝剑面对楚王不卑不亢地高声说道：“君王之所以训斥毛遂，是因为您依仗楚国兵多将广。现在您与我距离数步，您无法调集百万大军，您的生命就掌握在我的手中，目前的形势是你强我弱。何况平原君在上，我与他谈话，您为什么训斥我呢？我听说商汤以七十里疆土一统天下，周文王以百里之壤而统治诸侯。他们成功的原因并不仅仅是依赖兵多将广，而是能够识大局、顺其势、振其威，德威并举以服人心，完成一统大业。今楚国方圆五千里，雄兵百万，这是成就霸业的基础，天下任何国家都无法与楚国相比，正是完成大业的极好时机。可您却忧虑重重，犹豫不决，畏秦如虎，岂不让天下英雄豪杰耻笑！想当年（公元前278年），秦国小小的白起，率数万之兵，侵略楚国，一战占领了楚国的鄢城和郢城（都城），二战攻克夷陵火烧楚王的祖坟，三战几乎灭亡楚国，杀死了君王的先人。此乃百世之怨，也是贵国的奇耻大辱。但是，现在君子不辨是非，不知好恶，不识时务。我们提出联合抗秦，实在是为了保全楚国社稷，替楚国报昔日之仇，有利于楚国的霸业。您却迟疑不决，优柔寡断，并且对我大声呵斥，是何道理？ ”
毛遂一席话，震惊四座，楚王心悦诚服，连连点头说：“对对，先生说的很有道理。我同意与贵国联合抗秦。”毛遂问道：“此话当真？”楚王说：“就这样决定了。”毛遂立即对楚王两边的大臣说：“快点取鸡狗马的血来。”毛遂双手端着铜盘，跪在楚王的面前说：“大王您应当先歃血明誓，定下合纵抗秦的盟约。然后是我君歃血，接下来我再歃血。”于是，楚王、平原君与毛遂先后歃血，当场签订了楚国与赵国合纵抗秦、出兵救赵的军事盟约。毛遂又招呼同来的十九人说“公等也请歃此血于堂下，并把这件事情的经过详细记录下来。”楚、赵结盟以后楚王就派春申君黄歇为大将，率领八千万大军奔赴赵国解围。
平原君一行胜利完成任务回到赵国后，倍加赞赏毛遂。他说：“我相士多者千人，少者数百，自认为不失天下之士，以前却不了解毛先生的才能，差一点埋没了人才。这次去楚国借兵谈判，毛先生以三寸之舌，强于百万之师，而使赵国重于九鼎，达成合纵抗秦救赵之约。真是奇才！必须刮目相看。”于是将毛遂视为上宾。从此，毛遂名声大振，受到大家的称赞。
毛遂晚年返回故乡，死后葬于薛城北门外。清末修津浦铁路时迁到铁路西30米外。据说迁墓破土时发现墓上盖有“遇铁而开”四字的石刻。迁葬后墓前立有石碑，碑刻“毛遂墓”三个正楷大字。1945年冬，国民党军在毛遂墓上架设炮台，碑断为三截。今断碑、墓石尚存，后官桥镇政府集资修复。
毛遂自荐的故事至今已流传两千多年，鼓舞着一代一代的开拓者勇挑重担。