操后，就被任命为菅县县长，县中官吏知道高柔上任后，很多奸吏都主动辞官回家，没过多久，高柔的堂兄高干反叛曹操，高柔虽然没有参加，但是曹操却想因此事诛杀他。于是曹操把他调任为当时最得罪人的刺奸令史，希望能找到高柔的罪证，但是高柔上任后，兢兢业业，事物处理的非常得当，而且每晚都看文书到深夜。有一次曹操去看高柔时，发现高柔抱着文书睡着了，曹操一打听，才知高柔每晚都这样，这件事令曹操非常感动，就决定重用高柔。
曹操自称魏公后，任命高柔为尚书郎，主管全国的法律和刑罚事务，当时有一军人宋金，在合肥逃亡，当时官员都建议杀掉宋金的全家，以示惩戒。但是高柔却认为重刑不仅制止不了士兵逃亡，反而会引起更多无家可归的士兵逃亡，相反安抚政策反而会触及他们的归心，曹操觉得有道理，就采用了高柔的政策，高柔由于处世刚正不阿，很多事都敢和曹操争论，因此曹操在位时，很多事都不得不让着高柔。
曹操去世后，曹丕任命高柔为治书侍御史，赐爵关内侯，当时曹丕因在当太子时，和御史中丞鲍勋有宿怨，就想借着鲍勋有小过失而杀掉他，这件事到了高柔那里时，高柔认为鲍勋并没有犯大罪，不至于处死，但是曹丕生气了，坚持要杀掉鲍