，那时权势如日中天的唐衡一心结交士林，想把女儿嫁给汝南郡人傅公明，但被傅公明拒绝。在唐衡极度难堪之时，荀的父亲、“荀氏八龙”之一的荀绲主动请求把唐小姐娶过来与儿子荀成亲，此事影响很不好（或为论者所讥）。
这件事记载在《典略》一书中，虽然裴松之对此表示过怀疑，主要是唐小姐的年龄和荀年龄不太相符，但这件事不会完全没影，可能不是唐衡的女儿，是其他宦官的女儿，总之这成了荀的一个污点。荀跟曹操一样，因为家族或家室与名声极差的宦官有关而承受有言与无言的诟病。
在袁绍那里，荀虽然受着上宾之礼的款待，但在颍川郡士人整体受抑制和排挤的情况下，远大的抱负无从施展，敏感的内心还要承受他人的暗中讥讽，对于出身名门、少年时代即为大名士何称誉的荀来说，留在邺县一天，就会痛苦一天。
荀的心境与此时另一个年轻人很相似，这个人就是郭嘉。
郭嘉字奉孝，生于170年，小荀七岁，此时二十二岁左右，他也是颖川郡人，跟韩馥同一个县。与荀不同，他出身寒门，从小就有远大的志向（少有远量），后来喜欢暗中交结有识之士，可能就包括荀、辛评、郭图等人。郭嘉此时也在袁绍这里，通过一段时间的观察，他对袁绍的评价更差。他对老乡辛评、郭图说：“明智的人应该认真辨别领导（智者审于量主），袁绍只是效仿周公那样礼贤下士的做法，但却没有领会用人的实质，他生性多疑寡断，好谋无决，想跟着他打天下、定霸王之业，简直太难了。”
郭嘉劝辛评、郭图离开袁绍另寻明主。辛评和郭图不太同意这样做，他们认为袁氏的恩德和威风布于天下，现在人们都来归顺，力量越来越强，放着这么有前途的地方，为什么还要离开？郭嘉知道他们听不进去，不再多说，就自己离开，找了个地方闲居起来了。
郭嘉离开前有没有跟荀商量不得而知。不过荀跟郭嘉关系很好，以后正是在荀的力谏下，郭嘉才重新出山，成就英名。郭嘉的出走，对荀深有触动，初平二年（191年）的一天，他终于也决定离开袁绍。
大概是这一年的冬天，在黄河北岸的东武阳，三十七岁的曹操与专程来投奔自己的二十九岁的荀第一次相见，二人做了一次长谈，谈完之后曹操激动异常，他拉着荀的手久久不放，感慨地说了一句话：“你就是我的张子房呀！”
张子房就是西汉开国功臣张良，后来有人常常拿这句话攻击曹操，说他早就有野心，因为如果荀是张良，曹操就自视为刘邦了。
不管怎么样说，曹操得到荀格外高兴。正在事业上升期的曹操对人才十分渴求，尤其是能出谋划策的人，目前在他跟前基本上没有。
曹操更深知荀的潜在价值。荀家是颖川郡大族，有相当的影响力。曹操说过一句名言：“汝颖固多奇士也。”“汝颖”即汝南郡和颖川郡，东汉末年，在这两个地方诞生了一大批风云人物。有数字统计，在东汉一百八十年中，担任过三公、有名可记的共二百二十六人次，其中出自汝颍二郡的有三十三人次，是各郡国平均水平的七倍以上。朝廷里一度曾有“汝半朝”的说法，即说半朝的官员都来自汝南郡，这固然有点夸张，但足以反映汝颖二郡人物之盛。
荀的到来，让曹操十分高兴，因为他虽然怀着一颗渴求人才的心看待盛产名士的汝颖，但与他们没有太多的交往。曹操早年曾与袁绍、何等人过从甚密，但他在这个领域显然不具备号召力。荀的到来，真的是恰逢其时。
更让曹操激动的是，他不仅得到了一个荀，也不仅跟一个荀氏家族建立了联系，通过荀这座桥梁，他与整个颍川郡士人都建立了联系。在以后的岁月里，在荀的介绍下，戏志才、郭嘉、荀攸、钟繇、陈群、辛毗、赵俨、杜袭、应、繁钦、邯郸淳、和洽、孟建、石韬、郭诞、袁忠等一大批颍川郡士人都聚集到曹操阵营里，成为“武有谯沛、文有颍川”的人才格局。