১৯৫৩ সালে তিনি কাকুল পাকিস্তান মিলিটারি একাডেমিতে অফিসার ক্যাডেট হিসেবে যোগদান করেন।১৯৫৫ সালে তিনি সেকেন্ড লেফটেন্যান্ট হিসেবে কমিশন প্রাপ্ত হন। তিনি সেখানে দুই বছর চাকুরি করেন, তারপর ১৯৫৭ সালে ইষ্ট বেঙ্গল রেজিমেন্টে বদলি হয়ে আসেন। তিনি ১৯৫৯ থেকে ১৯৬৪ সাল পর্যন্ত পাকিস্তান সেনাবাহিনীর গোয়েন্দা বিভাগে কাজ করেন। ঐ সময়ই ১৯৬০ সালে পূর্ব পাকিস্তানের দিনাজপুর শহরের বালিকা,খালেদা খানমের সঙ্গে জিয়াউর রহমান বিবাহবন্ধনে আবদ্ধ হন।১৯৬৫ সালেরভারত-পাকিস্তান যুদ্ধে একটি কোম্পানির কমান্ডার হিসেবে খেমকারান সেক্টরে তিনি অসীম বীরত্বের পরিচয় দেন। যুদ্ধে দুর্ধর্ষ সাহসিকতা প্রদর্শনের জন্য যেসব কোম্পানি সর্বাধিক বীরত্বসূচক পুরষ্কার লাভ করে, জিয়াউর রহমানের কোম্পানি ছিল এদের অন্যতম। এই যুদ্ধে বীরত্বের জন্য পাকিস্তান সরকার জিয়াউর রহমানকে হিলাল-ই-জুরাত খেতাবে ভূষিত করে। এছাড়াও জিয়াউর রহমানের ইউনিট এই যুদ্ধে বীরত্বের জন্য দুটি সিতারা-ই-জুরাত এবং নয়টি তামঘা-ই-জুরাত মেডাল লাভ করে। ১৯৬৬ সালে তিনি পাকিস্তান মিলিটারি একাডেমিতে পেশাদার ইনস্ট্রাক্টর পদে নিয়োগ লাভ করেন। সে বছরই তিনি পশ্চিম পাকিস্তানের কোয়েটার স্টাফ কলেজে কমান্ড কোর্সে যোগ দেন।১৯৬৯ সালে তিনি মেজর পদে উন্নীত হয়ে জয়দেবপুরে সেকেন্ড ইস্ট বেঙ্গল রেজিমেন্টের সেকেন্ড-ইন-কমান্ড পদের দায়িত্ব লাভ করেন। উচ্চ প্রশিক্ষণের জন্য তিনি পশ্চিম জার্মানিতে যান।১৯৭০ সালে একজন মেজর হিসেবে তিনি দেশে ফিরে আসেন এবং চট্টগ্রামে অষ্টম ইস্ট বেঙ্গল রেজিমেন্টের সেকেন্ড-ইন-কমান্ডপদেরদায়িত্বলাভকরেন।