Doğum tarihi net olarak bilinmemekle birlikte, 14. veya 16-17. yüzyıllarda yaşamış olabileceği rivayet edilir. Hz. Peygamber’in soyundan geldiği ve Halvetiyye Tarikatı'nın önemli isimlerinden biri olduğu söylenir. Safiyyüddin Erdebilî'nin (1252-1334) halifelerinden biri olduğu ve Somuncu Baba ile manevî bir bağının olduğu da rivayet edilenler arasındadır.
Abdurrahman Erzincânî'nin yaşamıyla ilgili çeşitli yerlerde bulunmuş ve etkiler bırakmıştır. Timur'un Anadolu'yu istilası sırasında Amasya, Tokat, Kastamonu ve Çankırı gibi şehirlere uğradığı ve hayatının son dönemlerinde Elbistan'da kaldığı bilinmektedir. Elbistan'daki evi uzun süre önemli bir yer olarak bilinmiş, ancak zamanla unutulmuştur.
Abdurrahman Erzincânî'nin vefat ettiği yer konusunda iki temel rivayet vardır. Birincisi, Darende'nin Balaban Kasabası'nda yaşayıp 1432 yılında vefat ettiği ve burada türbesinin bulunduğudur. Diğer rivayete göre ise vefat yeri Adıyaman'ın İndere (Zey) köyüdür ve burada da bir türbesi bulunmaktadır. Her iki yer de ziyaretçiler tarafından özellikle akıl ve sinir hastalıkları için şifa bulma umuduyla ziyaret edilmektedir.
Abdurrahman Erzincânî'nin İstanbul'un fethinden önce Ayasofya'da düzenlenen bir münazarada kırk Hıristiyan din adamının Müslüman olmasına vesile olduğu da rivayet edilen olaylar arasındadır. Onun kerametleri ve halk arasındaki sevgisi çeşitli menkıbelerle anlatılmış ve bu şekilde hafızalarda canlı kalmıştır.
