Devlet Planlama Teşkilatı’nda (DPT) uzman yardımcısı ve uzman olarak çalıştı. 1978-1979 yıllarında Köy İşleri Bakanlığında Müsteşar Yardımcılığı görevini yürüttü. Batıkent Konut Üretim Yapı Kooperatifleri Birliğinin (Kent-Koop) kurucuları arasında yer alan Karayalçın, Kent-Koop’ta sırasıyla mali sekreterlik, genel sekreterlik ve 1981’den 1991 yılına kadar da Genel Başkanlık görevlerini üstlendi. Karayalçın, 1986-1987 yılları arasında Uluslararası İskan Konseyi Yönetim Kurulu üyeliği, 1988-1996 yılları arasında ise Uluslararası Kooperatifler Birliği (ICA) Konut Kooperatifleri Komitesinde Yürütme Kurulu üyeliği görevlerinde bulundu. Kurulduğu tarih olan 1988 yılından 1993 yılı Eylül ayına kadar olan Türkiye Kent Kooperatifleri Merkez Birliği’nin Genel Başkanlığı görevlerini sürdürdü.

Ankara şehir yerleşiminin rahatlamasını sağlamak amacıyla öncülüğünü yaptığı Uydu kent projesi ‘Batıkent Projesi’nin Birleşmiş Milletler’in Dünya Konut Yılı nedeniyle açtığı proje yarışmasında birinciliği kazanması üzerine ödülünü 1986 yılı Kasım ayında Londra’da İngiliz Veliaht Prens Charles’dan alan Karayalçın, aynı yıl Nokta Dergisi tarafından yılın iş adamı seçildi. 1987 ve 1991 yıllarında Türkiye’nin dış tanıtımına yaptığı katkılar nedeniyle Türk Tanıtma Vakfı (TÜTAV) Ödülüne, 1993 yılında da Fransız Hükûmeti tarafından Légion d’honneur şövalye nişanına layık görüldü.

Belediye Başkanlığı ve Siyasi Yaşamı

26 Mart 1989 yerel seçimlerin de SHP’den Ankara Büyükşehir Belediye Başkanı seçildi. Bu görevini SHP’nin 11 Eylül 1993’te yapılan 4. Olağan Kurultayında Genel Başkanlığa seçilmesine kadar sürdürdü. 50. Hükümette önce Devlet Bakanı Başbakan Yardımcısı ardından Dışişleri Bakanı ve Başbakan Yardımcısı olarak görev yaptı, SHP-CHP birleşmesi için Şubat 1995’de genel başkanlıktan, Mart 1995’te de Hükûmetten ayrıldı. 20. Dönemde CHP Samsun Milletvekili ve TBMM Dış İlişkiler Komisyonu Başkanı olarak görev yaptı.

2000-2001 ve 2012-2014 yılları arasında CHP Parti Meclisinde yer aldı. 17 Aralık 2014 tarihinde CHP İstanbul İl Başkanlığına atandı. Aralık 2015’te bu görevden ayrıldı.

2016 Ocak ayında yapılan 35. CHP Olağan Kurultayında Divan Başkanlığı yapan Karayalçın, 2017-2020 yılları arasında CHP temsilcisi olarak Türkiye İş Bankası Yönetim Kurulu üyeliğinde bulundu. Karayalçın, halen CHP Dış Siyaset Danışma Kurulu üyeliği görevini sürdürmektedir.