Hz. Peygamber’in neslinden olduğu ve Halvetiyye tarikatının önemli halkalarından birisi olduğu rivayet edilir. Ayrıca Safiyyüddin Erdebilî’nin (1252-1334) halifelerinden olduğu ve kızı Necmiye Sultan ile Hamid-i Veli’nin (Somuncu Baba) (1331-1412) evlendiği, Somuncu Baba ile arasında mürşitleri itibariyle de manevî bir bağ bulunduğu söylenir.
Timur’un Anadolu’yu istila etmesiyle Amasya, Tokat, Kastamonu ve Çankırı civarlarına geldiği, hayatının son dönemlerinde bir süre Elbistan’a gelip bugünkü Köprübaşı Mahallesi Hakkı Efendi Sokağı’ndaki bir evde kaldığı ve burada çobanlık yaptığı, Elbistan’da kaldığı evin ise yöre insanı tarafından önceleri önemli yer olarak bilindiği halde zamanla unutulduğu söylenir.
Elbistan’dan ayrıldıktan sonra gittiği ve vefat ettiği yer konusunda iki temel rivayet bulunmaktadır. Bunlardan ilki Darende’nin Balaban Kasabası’na gidip burada ikamet ederek tahminen 1432 (h.835) tarihinde vefat ettiğidir. Burada türbesinin de bulunduğu bir külliye bulunmaktadır. Bu külliye 1960 yılında başlatılan bir çalışmayla yenilenmiştir. Buradaki camii, çadır şeklindeki yapısı ve mızrak ucu şeklindeki minaresi ile modern cami mimarisinin en tipik örneklerinden birini teşkil eder. Vefat yeri ve mezarı konusundaki ikinci rivayet Adıyaman’ın İndere (Zey) köyü ile ilgilidir. Burada da bir türbesi vardır. Hatta IV. Murad’la görüştüğü ve bu türbeyi de Bağdat seferi dönüşü IV. Murad’ın 1612-1640) yaptırdığı söylenir. Türbe bugün çeşitli amaçlarla ziyaret edilmekle beraber özellikle akıl-sinir hastalarının şifa bulması amacıyla ziyaret edilmektedir. Bu tür hastaların ziyarete getirilip burada bulunan dut ağacına bağlandığı, dut ağacından bir dal kesilince şifa bulduklarına inanılır.
Abdurrahman Erzincânî, büyük bir mutasavvıf olduğu kadar kimi kaynaklarda büyük bir bilgin olarak da geçer. İstanbul’un fethinden önce Ayasofya’da düzenlenen tevhitle ilgili bir münazara sonunda kırk Hıristiyan din adamının Müslüman olmasına vesile olduğu da rivayet edilir. Kendisiyle ilgili çeşitli menkıbeler anlatılagelmiştir. Burada Elbistan’la ilgili olan bir menkıbesine yer veriyoruz:
Hakkında anlatılan bir menkıbeye göre bir gün, güttüğü ineklerden biri, evine dönmez. Bunun üzerine ineğin sahibi olan kadın gelip Abdurrahman Erzincânî’ye kötü birtakım sözler söyler. Erzincânî, kadınla birlikte ineği aramaya başlar. Sonunda ineği Battal Köprüsü civarında otlarken bulurlar. Abdurrahman Erzincânî, ineğe: “Ey hayvan! Neden evine dönmedin? Senin yüzünden sahibinden kötü laf işittim.” der. Buna karşılık inek dile gelip: “Sahibim benim bütün sütümü alıyor, karnımdaki yavruma süt bırakmıyor.” der. Daha sonra Erzincânî, kerameti zahir olduğu için Elbistan’ı terk edip Balaban’a (Darende) gider.
