Η Ραφία αποτελούσε συνοριακό σημείο μεταξύ της αρχαίας Αιγύπτου και της Παλαιστίνης, με θέα στη θάλασσα. Μόνο το πρώτο γράμμα του ονόματός της εμφανίζεται στον χάρτη της Μάνταμπα (P…).

Μία μάχη διεξήχθη εκεί κοντά το 720 π.Χ. μεταξύ της Φαραωνικής Αιγύπτου και της Ασσυρίας κατά τη βασιλεία του Φαραώ Οσορκόν Δ΄, ενώ μία ακόμη μάχη έλαβε χώρα το 217 π.Χ. μεταξύ της Πτολεμαϊκής Αιγύπτου και της Αυτοκρατορίας των Σελευκιδών.