«Географическая» фамилия. Первые Жирмунские – выходцы либо из белорусского села Жирмуны, либо из предместья Вильнюса Жирмунай.