使得当地治安混乱，难以治理。曹操上任后，立志整肃法纪、匡正风气，一到任便申明禁令，严肃纲纪，绝不姑息任何违法乱纪之行。为了彰显执法决心，他命人打造了十余根五色大棒，悬挂在衙门两侧，公开宣告：“有犯禁者，无论身份贵贱，皆用五色棒棒杀之！”
禁令颁布不久，汉灵帝最为宠信的宦官蹇硕的叔父，依仗侄子的权势，无视宵禁规定，在夜间违禁出行，横行街市。曹操得知后，毫不顾及蹇硕的权势与皇帝的宠信，当即下令将蹇硕的叔父捉拿归案，依律用五色棒处死。这一举措震动整个洛阳城，权贵们再也不敢小觑这位年轻的北部尉，纷纷收敛行径，一时间“京师敛迹，无敢犯者”，洛阳北部的治安焕然一新。但曹操也因此彻底得罪了朝中的宦官集团与当朝权贵，这些人对他恨之入骨，却苦于他执法公正、无懈可击，难以抓住把柄中伤诋毁。最终，权贵们想出明升暗降的计策，假意举荐曹操贤能，将他外调为顿丘县令，试图将他排挤出政治中心洛阳。顿丘位于今河南清丰一带，远离京城，曹操虽心知肚明这是权贵的排挤之计，却也只能赴任。
光和元年（公元178年），东汉朝堂再生变故。曹操的堂妹夫濦强侯宋奇，因卷入宫廷斗争，被宦官集团罗织罪名诛杀。按照东汉律法，亲属相连坐，曹操因此受到牵连，被朝廷免去所有官职，彻底失去仕途。罢官之后，曹操在洛阳无职无权，无所事事，最终只能离开京城，回到家乡沛国谯县，闭门闲居，暂时告别了官场生涯。
闲居两年，曹操并未消沉度日，而是潜心读书，静观时局变化。光和三年（公元180年），朝廷再次征召有才之士，曹操因其才干与家族声望，被重新启用，任命为议郎。议郎虽无实权，却能参与朝政议论、向皇帝上书进言，这让曹操重新获得了发声的机会。
早在曹操被罢官之前，大将军窦武、太傅陈蕃就曾谋划诛杀祸乱朝政的宦官集团，重振汉室朝纲，无奈事情败露，反被宦官集团抢先下手，惨遭杀害，忠良蒙冤，奸邪当道。曹操担任议郎后，心怀正义，不顾宦官权势，毅然上书汉灵帝，详细陈述窦武、陈蕃等人为官正直、忠心报国，却遭宦官陷害、含冤而死的真相，直言如今朝堂之上奸邪之徒遍布朝野，忠良之士却遭受排挤、得不到重用，言辞恳切，情真意切。然而，汉灵帝昏庸无能，宠信宦官，对曹操的忠言置之不理，并未采纳他的建议，这让曹操初次感受到汉室朝政的腐朽与无奈。
光和五年（公元182年），汉灵帝下诏，命令朝中公卿依据民间民谣，检举揭发各州刺史、二千石高官中危害百姓、贪赃枉法之人。这本是整顿吏治的良机，却被权臣扭曲利用。当时担任太尉的许戫、司空张济，一味迎合宦官集团的心意，收受贿赂，徇私枉法。对于宦官的子弟、门客，即便贪污腐败、卑劣无耻，他们也不敢过问；反而为了交差，虚报罪名，纠举了二十多位身处边远小郡、清廉为官、造福百姓的好官。
这些被冤枉的官员与当地百姓，纷纷赶赴洛阳申诉冤屈。司徒陈耽与曹操义愤填膺，联名上书汉灵帝，痛斥许戫、张济等人包庇私党、残害忠良，直言他们的行为是“放鸱枭而囚鸾凤”——放走凶恶的猫头鹰，却囚禁祥瑞的鸾凤，颠倒黑白，混淆忠奸。两人的上书言辞忠直恳切，切中时弊，汉灵帝看完后幡然醒悟，下诏严厉责备许戫、张济，同时将那些因谣言被冤枉的官员全部赦免，任命为议郎。尽管此次进言取得成效，但曹操也愈发看清，东汉朝政早已腐败不堪，宦官专权、权臣乱政已成顽疾，仅凭一己之力，根本无法匡扶汉室、扭转乾坤，心灰意冷之下，曹操便不再向皇帝进言，选择沉默静观。
中平元年（公元184年），声势浩大的黄巾起义爆发，数十万农民揭竿而起，席卷全国，东汉王朝的统治岌岌可危。为镇压起义，朝廷紧急调动军队，曹操被任命为骑都尉，统领骑兵，受命与左中郎将皇甫嵩、右中郎将朱儁等人合兵一处，进攻颍川地区的黄巾军主力。
战事初期，朱儁率军先行抵达战场，与黄巾军波才部交战，遭遇惨败；皇甫嵩被迫退守长社（今河南省长葛县东北），被波才率领的黄巾军重重围困，形势危急。皇甫嵩沉着应战，趁夜色风起，命士兵纵火出击，黄巾军缺乏军纪，见到火光顿时惊乱，被迫后撤。就在此时，曹操率领骑兵及时赶到，与皇甫嵩、朱儁三军会合，合力猛攻黄巾军，大获全胜，斩首数万级，一举扭转了颍川战场的局势。此役是曹操军事生涯的首次大胜，充分展现了他的军事指挥才能。
战后不久，曹操因战功调任济南国相。济南国隶属青州，下辖十余个县，是东汉的重要郡国。历任济南国相都因畏惧当地权贵势力，对各县官吏贪赃枉法、依附权贵、鱼肉百姓的行径置之不问，导致济南国吏治腐败，民不聊生。曹操到任后，依旧秉持刚正不阿的作风，大力整饬吏治，雷厉风行地清查各县官吏的罪行，一次性上奏朝廷，罢免了十分之八的贪腐长吏。这一举措震动整个济南国，贪官污吏心惊胆战，纷纷逃窜他乡。在曹操的治理下，济南国政令畅通，教化推行，百姓安居乐业，史称“政教大行