С 1843 г. К.П.Кауфман служил на Кавказе, принимая участие в военных операциях против горцев Дагестана и Чечни. Во время Крымской войны отличился в сражении при Кюрюк-Дара и штурме Карса, подписал с русской стороны условия капитуляции этой турецкой твердыни в Закавказье.

Был замечен Д.А.Милютиным, после своего назначения военным министром поручил Константину Петровичу пост директора своей канцелярии. Весь свой незаурядный административный и организаторский талант Кауфман отдал делу жизни своего покровителя, в кратчайшие сроки реформировавшего русские вооруженные силы и создавшего условия для возникновения и России массовой армии.

В апреле 1865 г. Константин Петрович был назначен виленским, ковенским и гроднснским генерал-губернатором, а также командующим войсками Виленского военного округа. Находясь на этом посту он энергично и последовательно проводил политику русификации губернии, подавления среди населения остатков польского сепаратизма.

С июля 1867 г. К.П.Кауфман стал генерал-губернатором завоеванного М.Г.Черняевым Туркестанского края. При нем произошло покорение Кокандского ханства, в орбиту русской политики были вовлечены Бухарский эмират и Хивинское ханство.

Однако жителям Туркестана Константин Петрович Кауфман запомнился не только своими походами и заключенными договорами с владыками Бухары и Хивы. Он уделял пристальное внимание развитию местного управления, возникновению народных школ, училищ и гимназий; помогал организации научных экспедиций, изучавших вновь покоренные Российской империей области. По его инициативе в 1870 г. была основана первая в Средней Азии газета «Туркестанские ведомости» и публичная библиотека в Ташкенте.

Следующим этапом покорения Средней Азии стало утверждение России в районе основанного в 1869 г. города Красноводска на восточном побережье Каспийского моря, на землях населенных туркменами, а также наступление 1873 г. на Хивинское ханство.