据说，这座祠堂所建的位置，原来是王氏一世祖王默的居室旧址。王默是宋末人，放鸭为生。以往放养鸭子的人，都是将一群孵出不久的雏鸭赶出门，往山野溪涧一路走去，风餐露宿，让鸭子自寻青草、螺蛳吃，一直到长成大鸭才赶回家。王默赶鸭到这里，时当盛夏，雨水特别多，就顺便搭了个草棚子在这里，以避风雨。一日，正是端午节前夕，忽然间风起云涌、雷鸣电闪，大雨如同瓢泼一样。王默赶快将鸭子赶拢在一起，躲进了草棚，却见有一人撑着把破伞，冒着大雨向他的草棚跑来。原来这人是一个江西的风水先生，姓徐，人家称为“半仙”，近来被邻近廖姓大户请来看风水、寻墓地。因为紫帽山是一处风水宝地，他每每来此踏勘，所以王默认识他。当问到他为何一个人冒雨来此时，那徐半仙长叹了一口气，说起自己踏勘日久，本想为主人找一处最好的风水地，只因久久还没定下佳穴，廖家主妇竟心生厌恶，对他招待不周，口出恶言，所以他愤而出走，想回家去，不想路上遇到大雨。王默见他一个远方人落魄于此，心生怜悯，又敬重他是有学问的人，便留他在草棚内安身，做饭做菜伺候。不想那雨直下到第二天还不停歇，王默还特意到山下沽酒备菜，为徐半仙解愁。直到第三天雨歇天晴，才送他上路。那徐半仙告别后走了几步又回头来，对王默说：你是个好人，我没有什么可以报答你。在紫帽山踏勘了这么久，我早看中你搭草棚的这地方就是一处吉地，叫作“卧牛穴”。此地左近紫帽山，面对纱帽石，将此地起盖居室，日后必主人丁兴旺、子孙贵盛。后来王默果真居住于此，传衍下深坑13乡数万子孙后裔，并出了不少名人。

明代，深山里的紫星王氏竟然有过“公孙五举三知州，兄弟一朝两大夫”的盛举。弘治年间，王默八世孙王畴以贡生授常宁训导，辞官不仕。他同晋江著名理学家陈琛（号紫峰）交情很好，陈琛出仕之前曾在紫帽山结庐读书，每与王畴探研学问。王畴之子王承箕（号紫南）拜陈琛为师，明嘉靖十九年（1540年）中举人，授官沅州知州，一任三年。时人评价他“约己裕民，庭无暮金，性坦直，不阴附上官意”，就是说他做官能约束自己，不多靡费而让好百姓日子过得更好，绝不接受贿赂，性格坦白正直，有话直说，不会看上司的眼色行事，是一个好官。

（来源：晋江胜迹）