Maraş Kurtuluş Savaşında, mahallede Seferli ve Düdün Ermenilerinin evleri de bulunuyormuş. Bu evlerde çok miktarda cephane yığıldığı haberi üzerine, Evliya Efendi ve Ağabeyi Hüseyin Evliya, kendi evlerini feda edip yakarak bu cephaneleri imha etmişlerdir. Yine Evliya Efendi, Arasa Kilisesine çok miktarda cephane yığıldığının haberi üzerine kiliseyi basmıştır. Evliya Efendi büyük yararlılık gösterdiği Maraş harbinde 4 Şubat 1920’de bir Ermeni kurşunuyla şehit olmuştur. 34 yaşında şehit olan Evliya Efendi, geride iki çocuk bırakmıştır. Oğlu Hasan Fehmi Evliya daha sonra milletvekili olmuştur. Acemli Mahallesi’nde, Kurtuluş Savaşı sırasında Hüseyin Evliya Döngele, Yenicekale ve Kayışlı köylerinden gelmiş 15–25 yaş arası 300 kadar çetenin beslenme ve giyim eşyaları ihtiyacını tek başına karşılamıştır. Bu çeteler Acemli Hamamı’nda barındırılmıştır. Maraş harbinde büyük bölümü yanan Acemli Mahallesi 1930’lu yıllarda, Kahramanmaraş’ın batısında yoğun bir yerleşime sahip, dikkat çeken mahallelerden bir tanesi olmuştur. Maraş harbinde yanmasına rağmen Orta, Yeni ve Yakın Çağlardan kalma Dulkadir Beyliği ve Osmanlı Devleti’nin tüm sivil ve dini mimari örnekleri günümüze kadar ulaşabilmiştir.
Mahallede bir külliye bulunmaktadır. Külliye, Beyazıtlı ailesinden Hacı Abdullah Bey’in oğullarından İskender Bey tarafından, kendi adıyla, kalenin batısındaki Acemli Mahallesi’nde yaptırılmıştır. Külliye; cami, medrese ve çeşmeden oluşmaktadır. Bu caminin, XVII. Yüzyılın ortalarına doğru yaptırıldığı düşünülmektedir. Cami ahşap kirişlemeli, düz toprak damlı ve harabe durum-da iken 1912 yılında yıkılmış. 1912–1914 yılları arasında evkaf memuru Evliya Efendi’nin gayretleriyle, Evkaf Müdürlüğü’nün kaynakları kullanılarak, taş olarak yeniden inşa edilmiştir. 1963 ve 1987 yıllarında Vakıflar Genel Müdürlüğü tarafından tamiri yapılmıştır. Ayrıca mahallede Acemli Hamamı inşa edilmiştir. Günümüzde caminin kuzeyinde abdest alınan iki havuz, doğusu ve batısında ahşap malzemeden yapılmış iki katlı medrese odaları ile avlunun kuzey duvarında çeşme yer almıştır. Acemli Camii’nin kuzeyin-deki çukurdan su çıkar. Suyun bir kısmı camiye verilir, gerisi dereye verilirdi. İşte Şekerdere değirmeni dereden gelen bu su ile çalışıyordu. Şekerdere Değirmeni, kalenin batısındaki şimdiki otopark’ın olduğu yerde kurulmuştu. Burada pirinç dövülürdü. Acemli Camii’nin kuzeyindeki Aladan mezarlığında Dulkadir Beyi Alaüddevle Bey’in temsili mezarı bulunmaktadır. Başının burada gömülü olduğuna inanılmaktadır.
