然而，为了统治国家，朱元璋把目光投向了鬼神的世界。他深知鬼神对普通百姓意义重大。他说：“世之所以成世者，惟人与神耳。”如果“世无鬼神，人无畏矣”。对鬼神的惧怕心理，可以拿来为他所用。
开国之后，他就开始了对鬼神们的管理。洪武三年，朱元璋觉得历代王朝给诸神加上各种各样的封号太多太乱，于是下令清理整顿，整齐划一，统一了鬼神们的名字，规定了他们的等级地位，将“天皇”、“太乙”、“六天”、“五帝”等这些古代礼典中没有记载的神赶出了神仙队伍，又将全国各地城隍诸神号去掉历代所加封爵，只称某府州县城隍之神。
朱元璋对鬼神队伍整顿的另一个重大举措是历史上头一次将城隍及其辖下的众小鬼正式列入国家祀典之中。城隍原本是一种民间信仰，历代都没有入国家法定的祀典。但出身底层的朱元璋深知城隍神的力量。在民间故事中，城隍经常行善报恶，与老百姓生活息息相关。所以洪武二年（公元年），朱元璋“封京都及天下城隍神”，还诏天下府州县立城隍庙，使城隍进入国家的祭祀体系中。
他命令地方官带领百姓每年祭祀城隍，他规定的祭文中这样说：
凡我一府境内人民，倘有忤逆不孝，不敬六亲者；有奸盗诈伪、不畏公法者；有拗曲作直，欺压良善者；有躲避差徭，靠损贫户者；似此顽恶奸邪不良之徒，神必报于城隍，发露其事，使遭受官府。轻则笞决杖断，不得号为良民；重则徒流绞斩，不得生还乡里。若事未发露，必遭阴谴。使举家并染瘟疫，六畜田蚕不利。如有孝顺父命，和睦亲族，畏惧官府，遵守礼法，不作非为，良善正直之人，神必达之城隍，阴加护佑，使其家道安和，农事顺序，父母妻子保守乡里。
因此祭祀城隍的过程，也是一个愚民的过程。他本人曾坦率地对宋濂说，尊崇城隍的目的，不过是威吓百姓而已：“朕立城隍神，使人知畏。人有所畏，则不敢妄为。”