相传大雁南飞到衡阳而返，故衡阳市南有一座秀丽挺拔的山峰，称为回雁峰，每到秋冬之际，成群的大雁就落在这里等待来年开春时又返飞北方。回雁峰乃是南岳七十二峰之首，因景色秀致，乃成为衡阳游览、聚会的胜地。
　　唐德宗光启年间，回雁峰下住着一名歌妓，叫王幼玉，她原本是北方的大家闺秀，因黄巢起义，战乱骚扰，随家人避难来到衡阳，父母双亡后，幼玉的生计失去着落，只好凭着天生一副婉转歌喉，加上艳丽的容貌和庸俗的气韵，做了一名侍客的歌妓。
　　有一日御史大夫夏公商经过衡阳，当地郡守在口雁峰下的雁峰寺中设筵款待，召来了王幼王献歌凑兴。正值秋高气爽，枫叶透红，五彩缤纷之中，一队队大雁从北国飞来，绕着回雁峰飞旋徜徉。酒酣兴浓时，王幼玉端坐厅中，睹物思乡，亮开歌喉，唱出一曲高亢激越的“雁返来”，歌声悠扬，惊动四座。当下座中有个文客便赠给王幼王诗一首，诗中有“秋满潇湘浦，歌徹回雁峰。”之句，众人都认为恰到利益。使得夏公商也诗兴盎然，亲笔为王幼玉题下一诗：
　　真宰无私心，天地万物逞殊形；
　　嗟尔兰蕙质，远离幽谷青。
　　清风暗助秀，雨露濡其冷；
　　一朝居上苑，桃李让芳馨。
　　诗中盛赞王幼玉独得造物之殊形，清雅秀丽如兰蕙，浓艳的桃李不能与她相比。经过名人这么一题诗品评，王幼玉顿时名声大振，身价百倍。
　　事先黄巢起义失败，商业贩运也规复了往日的繁荣，衡阳地处湘江要冲，城市繁华，是南来北往客商必经之地。那些腰缠万贯的富人，平时经营时锱铢必较，而声色享乐时却挥土如金。因王幼玉艳名远扬，所以南北富人到了衡阳，都想找她取乐。其中不少商人倾倒于王幼玉的美貌和风韵，许以重金求娶她为妻为妾，而王幼玉则自有主张。对满身铜臭味的商人多是以礼相待，以歌相奉，决不肯委身相随。
　　不料，终有一日，王幼玉依然做了一个商人的“俘虏”，他就是洛阳商人柳富。柳富是洛阳的世家子弟，仪表英俊，气度儒雅，本是读书出身，因未考取功名而改习武艺，练有一手好剑法。他性情刚烈，凭着出色的武功和年轻气盛，在故乡不免做些仗义行侠之事，惹了不少是非，父亲(father)为了磨练他的性子，也为让他增长些见地，就让他随商队南行，同时学习经商。正因为家世特殊，所以他虽为商人，却没有一般商人的鄙俗之气，眉宇间展露着灵杰和豪迈。第一次在宴会上见到献歌的王幼玉，他就被她庸俗的气质和动人的歌声深深吸引住了，第二天又登门拜访她。王幼玉很快也被这个年轻商人的特殊气度打动。于是，两个人由相互羡慕到情投意合，很快便成为一对亲密的情侣。合江亭上、石鼓寺中、来雁塔畔、清水桥头，衡阳的秀山湄水间，处处留下他们相依相随的影子。
　　阳春三月，春光醉人，两人泛舟湘江，情醉意酣，柳富即兴赋诗：
　　潇湘水暖花正妍，绿莎汀畔水连天；
　　轻舟载得春来少，无数飞红到桨边。
　　诗儿把他们的心情与春景紧紧融合到一处，王幼玉十分喜欢，王幼玉随即为它谱上曲，坐在船头引吭高歌。江面水波鳞鳞，歌声缭绕山水之间，令人陶醉不已。
　　唱罢，王幼玉整理自己的心情，也吟出一首诗来：
　　春寒日日雨丝丝。草满离亭水满陂；
　　寄语东君须著意，惜花人去未多时。
　　王幼玉的诗乃由眼前明媚的春景，联想到春寒春水，花开虽好，总有雨打风吹花落时，因此劝导惜花人珍惜眼前花妍时，免得日后空叹息。现实上，她是借着诗儿向柳富暗示，自己愿以身相许，只等柳郎来攀折。而柳富却佯装没领悟诗中含意，似悲似喜地看了幼玉一眼，就赶快把目光移向了远方。王幼玉不解他此时心境，甚感惆怅。
　　一天夜晚，月明星稀，两人静坐在院中紫藤花下，一段沉默过后，王幼玉借夜色掩饰住羞涩，郑重其事地表白：“妾愿将此身托付给柳郎，不知柳郎意下如何？]柳富沉吟良久，见无法躲避，于是语调低沉地以实情相告：“小生南来途中，路过湘潭时，因路见不平，挺身与人解围，格斗中出手误伤两条人命，本想一走了之，不料此事却被一个旅店的侍女见到，她抓住了把柄，强迫我出钱从她主人手上买下她，并要与我成亲。我只答应把她买出来就让她远走，无奈她非要随我，否则就到官府举发，我无计可施，只好带她一同走，眼下正在衡阳，想摆脱她又脱不开，真是进退维谷！”
　　王幼玉听完岑寂一想，认为只要下些工夫，这事不难减缓。柳富则表示：“只要离开那女人，柳生非幼玉莫娶！”于是，王幼玉帮柳富出谋划策，又拿出自己的私蓄二百万钱，终于用金钱和晓以利害，把柳富貌合神离的女侍妻子打发回了湘潭。两人之间的障碍已去，心中欢乐，正预备共结百年之好时，柳富家里派仆人专程从洛阳赶来找柳富，说是老主人已病逝，催请小主人灵敏赶回洛阳奔丧。
　　真是一波刚平，一波又起，此事更是无可推脱，柳富决定第二天一早登程。这一晚，两人彻夜无眠，手握着手相互起誓，等着对方，决不变心。晨鸡报晓中，柳富含泪踏上了归途，王幼玉洒泪相送，哽咽道：“我等你返来，不论多少时日！”
　　自从柳郎走后，王幼玉洗尽铅华，摒绝一切社交应酬。专心等待柳郎返来。三个月已往了，一天一天，了无音讯，秋风起时，鸿雁南来，却也没带来柳郎的新闻。昔日女伴们都劝王幼玉转意转意，重树艳帜，但是王幼玉一口拒绝，她坚信柳郎决不是一个负心人。
　　日日挂牵，夜夜思念，细数时日，又是冬去春来，仍然不见柳郎返来。王幼玉再也忍不住了，她剪下一缕青丝，并书下一首长诗，两者密密用罗帕包好，雇了一名专差，前往洛阳寻找柳富。诗是这样写的：
　　门对云霄碧玉流，数声渔笛一江秋；
　　衡阳雁断楚天阔，几度朝来问过舟。
　　阳台玉歇行云杏，穹苍鸿稀春静静；
　　鸳鸯孤眠怨芳草，夜夜相思什么时候了。
　　妾非无声不敢啼，妾非无泪不敢垂；
　　柔情欺损青黛眉，春风著人意萧索。
　　绿窗书字寄心曲，细看香翰婉且柔；
　　中有闲愁三万斛，向隅弃笔惆怅时。
　　此情默默谁得知，无言相见空相忆；
　　既然相思惹人愁，不如当日休相识。
　　其实柳富并没忘记才子之约，更是日夜思念着幼玉。办完父亲的丧事后，本想变卖产业，马上南下见才子；不料族中父老听说他在衡阳沉溺于娼妓门下，此度又尽卖祖上留下的产业，想携款而走，败坏家风，于是对他横加阻挠。柳富此时想见幼玉心切，见族人无端阻拦，一时心急意乱，失手打伤了一位族中长辈。这位长辈原本年老力衰，经这么一碰，竟然卧病不起。于是族人告到官府，柳富以犯上伤人之罪身陷囹圄，从而与外界失去了连络。
　　王幼玉派来的专差，千方百计地打通枢纽，总算在牢中见到了柳富，柳富读罢王幼玉捎来的诗句已是泣不成声，他将诗笺和幼玉的青丝紧紧藏人怀中，仓促地写了一首诗作覆信:
　　春雨濛濛不见天，家家门外柳如烟；
　　现在断肠空垂泪，欢笑重追别经年。
　　柳富还一再请来人转告王幼玉道：“此生若能重睹天日，必不负才子情意。”但究竟什么时候能重见天日，心里却也没底。
　　专差回到衡阳，带回了不幸的新闻，王幼玉听了悲伤欲绝，但她心意已决，不怕等到天长地久，也要等着柳郎返来，因为她已确知柳郎不曾变心。王幼玉的同行姐妹们都来安慰和劝导她，让她不必无望地苦守，何不极乐世界。可王幼玉心坚磐石，丝绝不为旁人所动。
　　闭门谢客，坐吃山空，终究不是办法。王幼玉索性卖掉了市区的房舍，搬到城郊龙王庙傍一所狭小的小屋中住下来，省吃俭用。
　　一年一年地已往了，等到唐德宗驾崩，唐昭宗继位，新天子登基，大赦天下缧绁，柳富也因之得到了自由。
　　柳富正想南下找王幼玉的时候，正遇上国中各藩镇之间交兵混战，南北道路阻隔，一时之间无法成行，只好先设法辗转托人给王幼玉捎去一封信，信中附有一阕词：
　　人间最苦，最苦是分离，伊爱我，我怜伊，青草岸头人独立，画船东去橹声迟。楚天低，回望处，两依依。
　　后回也知俱有愿，未知何日是佳期，心下事，乱如丝。晴天良夜还虚过，辜负我，两心知，愿伊家，衷肠在，一双飞。
　　王幼玉收到柳富的书信，心知柳郎还悬念着自己，自己这三年的等待，总算没有落空。她反复吟读着柳富的这阕词，并不由自立地哼唱起来，心中觉得无比欣慰。之后，她突发奇想，为何不把这阕词公开唱出来，让全衡阳的人士和过往的客商都知道，她王幼玉的一腔痴情没有付诸流水，她的柳郎马上就将来与她相会，她想让自己的幸福也被大家都感觉到。
　　于是，王幼玉开始在回雁峰下的酒楼歌榭中免费为大家演唱，她始终只唱一首歌，那便是柳富寄来的那阕词。
　　又到了春灼烁媚的时节，道路仍然阻隔不通，柳富也就一向无法南行，王幼玉的等待有些苍茫了。她不知何日是佳期，雁去又雁来，终于在等待中病倒了。这天她自知来日不多了，等不及情郎的到来，吃力地登上回雁峰顶，仰望着满天鸿雁纷纷北去，她好象也变成一只大雁，随雁群飞到柳郎身边。惆怅中，她又开始临风拼力高歌情郎的词句，凄婉的歌声响彻云霄，山谷回应，歌声不绝。空中的飞雁似乎也被歌声留住，绕着回雁峰，徜徉不前。
　　王幼玉一遍又一遍地歌唱不已，终于声嘶力绝，倒下悬岩，一缕芳魂也随雁群飘飘北去。而这时，多情的柳郎正艰巨地行进在南来的路上……