İlçenin bilinen tarihi M.Ö. 5000 yılına dayanmaktadır. Sümer ve Hititlerin elinde bulunan bölge M.Ö. 2750 yıllarında başlamaktadır. Sami’lerin istilasına uğramıştır. Daha sonra 612 yılına kadar Asur’ların egemenliğine girmiş olan bölge, MÖ.612’de Babillerin sınırları içerisinde kalmıştır.

Daha sonra Medler ve Persler yöreye egemen olmuş, Büyük İskender’in MÖ.332’de Anadolu’daki Pers hâkimiyetine son vermesinden sonra Urfa yöresi ile birlikte Akçakale de Makedonya Krallığının egemenliği altına girmiştir. Büyük İskender’in ölümünden sonra Seleukoslar yöreye hakim olmuş, bunu Osrhoene Krallığı ve Romalılar izlemiştir. Roma’nın 395’te ikiye ayrılmasından sonra Doğu Roma (Bizans) sınırları içerisinde kalmış, Bizanslılar ile Sasaniler arasında sık sık el değiştirmiştir.