కుమారస్వామి 2006లో కన్నడ హీరోయిన్ – ప్రొడ్యూసర్ అయిన రాధిక కుమారస్వామిని పెళ్లాడారు. అప్పటికి కుమారస్వామి వయసు 47 రాధిక వయసు 20. కుమారస్వామికి అది రెండో పెళ్లి. రహస్యంగా జరిగిన ఈ పెళ్లి కుమారస్వామి సీఎం సీటు నుంచి దిగేవరకు రహస్యంగానే ఉంచారు. అయితే, సీఎంగా దిగిపోయాక వారు అఫిషియల్గా కనిపించారు.
వారికి ఒక కూతురు కూడా ఉంది. రాధికా కుమారస్వామి కన్నడనాట ప్రముఖ నటి. ప్రొడ్యూసర్గానూ ఉన్నారు. రాధికా మంగళూరులో 1986లో జన్మించారు. ఆమె ప్రధానంగా కన్నడ చిత్రాలలో నటించారు. 2000 ప్రారంభంలో కన్నడ చలనచిత్ర పరిశ్రమలో ప్రధాన నటిగా గుర్తింపు తెచ్చుకుంది. రాధిక 2000లో రతన్ కుమార్ను వివాహం చేసుకున్నారు.
2002లో రతన్ మరణించారు. కుమారస్వామి గతంలో సినిమా రంగంలో నిర్మాతగా, డిస్ట్రిబ్యూటర్గా పని చేసిన సమయంలో 2005లో రాధికతో ఏర్పడిన పరిచయం ప్రేమగా మారింది. నిజానికి కుమారస్వామికి కూడా ఇది రెండో వివాహం. కుమారస్వామి 1986లో అనితను వివాహం చేసుకున్నారు. వీరిద్దరికీ నిఖిల్గౌడ అనే కుమారుడున్నాడు.