Konak Meydanı’nda, Hükûmet Konağı’nın önünde yer alan Yalı Cami’nin banisi, Dervişzade Mehmet Paşa’nın kızı Ayşe Hanım’dır. 1755 yılında ibadete açılan ve içindeki Kütahya çinileriyle ünlü olan cami, uzun bir dönem banisinin ismiyle anılmış, 19. yüzyılın sonlarından itibaren de Yalı Camii olarak anılmaya başlanmıştır.
Ayşe Hanım’ın mensup olduğu Dervişzade ailesi, İzmir tarihinde önemli bir yere sahiptir. Aile, Birgi kazasının önde gelen âyan ailelerindendir. Birgi’de günümüzde de ziyaret edilebilen Derviş Ağa Medresesi, Ayşe Hanım’ın dedesi Derviş Ağa tarafından 17. yüzyılda yaptırılmıştır. Derviş Ağa’nın oğlu ve Ayşe Hanım’ın da babası olan Dervişzade Mehmet Paşa, uzun yıllar devlet hizmetinde bulunmuş, Midilli, Sığla ve Muğla’da mutasarrıflık yapmış ve bir dönem de derya beyi olarak Rodos adasının idaresini üstlenmiştir.
Babası Mehmet Paşa’nın vefatından sonra büyük bir mirasın sahibi olan Ayşe Hanım, bu sayede İzmir’in en varlıklı kadınlarından biri hâline gelmiştir. Devraldığı mirasın içinde çok sayıda dükkân, evler ve Fazlıoğlu Hanı’nın yarısı bulunmaktaydı. Fazlıoğlu Hanın bir diğer ismi ise, Dervişoğlu Hanıdır. Burası döneminin en büyük hanlarından birisidir. Bu hanın Köprülü Fazıl Ahmet Paşa ya da çocukları tarafından yaptırıldığı ve sonrasında Dervişzade ailesince satın alındığı tahmin edilmektedir. Günümüzde Fevzipaşa Bulvarı’na cepheli Yeni Kavaflar Çarşısı’nın yapımı sırasında (1928-1929) büyük bir bölümü yıkılmış olan hanın güneydoğu cephesi ile aynı cephedeki giriş bölümü günümüze ulaşmayı başarmıştır.
Ayşe Hanım, devraldığı mirası ticarette değerlendirmiş ve yeni yatırımlar yapmıştır. Bunların içinde en dikkat çekici olanı, Yalı Cami’nin inşa edildiği alana çok yakın bir mevkide yaptırdığı iskele ve küçük bir han yapısıdır. Arşiv belgeleri, bu iskele ile hanın işletmesinden bizzat Ayşe Hanım’ın sorumlu olduğunu göstermektedir. Ticari kimliğinin yanında hayırseverliği ile de tanınan Ayşe Hanım, aile geleneğini devam ettirmiş ve yaşamının sonlarına doğru, 1749 yılında, kendi adına bir medrese yaptırmıştır. Medresede eğitim gören öğrenciler ile müderrislerin namazlarını cemaatle kılmasını temin etmek maksadıyla medresenin yanına bir cami inşa edilmiştir. İnşa edilen bu cami, günümüze kadar ulaşmayı başarmış olan Yalı (Ayşe Hanım) Cami’dir.
Medrese ve caminin ihtiyaçlarının karşılanması amacıyla kendine ait birçok mülkü vakfeden Ayşe Hanım, 1757 yılında vefat etmiştir. 19. yüzyılın ikinci yarısına gelindiğinde, o tarihe kadar yaşanan çeşitli afetlerden zarar gören cami, yıkılıp yeniden yapılmıştır. Bu yapım esnasında yeri değiştirilen cami, Hükûmet Konağı’na daha yakın olacak şekilde, medresenin diğer tarafına yani bugünkü yerine inşa edilmiştir.
Rahmi Bey’in valiliği esnasında Konak Meydanı’nda yapılan düzenlemeler kapsamında medrese yıkılmış, cami de kapsamlı bir onarımdan geçirilmiştir. Dönemin önde gelen mimarlarından Tahsin Sermet Bey’in nezaretinde yapılan onarımda, caminin içi Kütahya çinileriyle kaplanmıştır.
Aydınoğulları Beyliği’nin başkentliğini yapmış Birgi’den, Aydın vilayetinin merkezi İzmir’e uzanan Dervişzade ailesinden Ayşe Hanım’ın şehrimize hediyesi olan Yalı Camii, şehrin simge yapılarından biri olmasının ötesinde, hikâyesiyle de İzmir’in zengin tarihine ışık tutmaktadır.