“三色潭”的故事说起：传说，很久很久以前，三色潭这个地方，原来是住着一户富贵人家，这家主人，拥有家财万贯，奴仆成群，好马跑不尽他的田地，好鸟飞不过他的房栏。这家主人，对丫环奴仆十分苛刻、丫环挑水，不准换肩，丫环挑的水，只要前面桶，不要后面桶，说是后面桶不卫生，因为屁股放屁会影响后面桶的卫生。而且丫环们挑的水桶是一个“尖”底形，防止丫环们在途中偷懒。有一天，一位天上的仙人下了凡，变作一个叫化子，丫环们热情地招待了仙人，此时，仙人告诉丫环们说：“明天一早，你们打扫房屋，把主人香火下的两根竹笋敲断，然后逃出这户人家。”因为这家主人横行四乡八里，欺压百姓，刻薄丫环，老天爷是不会饶恕他的，仙人又告诉丫环说“竹笋敲断之时，就是主人受灭顶之灾之日”。果然第二天凌晨，两根竹笋在主人的香火下长了出来，丫环们按照仙人的吩咐行动，把两根竹笋敲断，传说，这两根笋子是龙的一对角，龙角被敲断，龙一翻身，一瞬间，天昏地暗，闪电雷鸣，地动山摇，把这户人家陷入十八层地狱，成了现在的“三色潭”。此时，主人的女婿从外作官回来看望妻子和岳父岳母大人，只见妻子坐在一条没有陷下的大门坎上大哭大叫，夫妻二人还没有来得及对话，大门坎连同妻子一齐陷入十八层地狱。这时，仙人又变作一只小鸟在树上叫了几声：“留公不留婆，拉马转回头……”主人的女婿垂头丧气地拉马转回头朝远方而去。所以，这个山村从那时起就叫“留公”。三色潭呈“品”字型，各潭相距不超过20米，但奇怪的是，各潭湖水颜色不同，一潭水呈浑浊的黄色（传说是主人的马房），一潭呈碧绿色（传说是主人的正屋），另一潭水呈微浑的清绿色（传说是主人的厨房）。所以世代相传叫“三色潭”。