Kayaköy var indtil 1923 en blomstrende græsk-ortodoks landsby med flere tusinde indbyggere, kendt dengang som Livissi. Under befolkningsudvekslingen mellem Grækenland og Tyrkiet, aftalt som en del af Lausanne-traktaten efter den græsk-tyrkiske krig, blev hele befolkningen tvunget til at forlade byen — og den blev aldrig genbefolket.
I dag står omkring 500 forladte stenhuse tilbage på bakkesiden, sammen med to kirker og flere kapeller, i det der er blevet et af Tyrkiets mest stemningsfulde og usædvanlige besøgsmål. Byen er bevaret som et fredet mindesmærke, ikke restaureret, hvilket giver et autentisk, næsten spøgelsesagtigt indtryk af et liv, der pludselig ophørte.
Kayaköy ligger kun et kort stykke fra Fethiye og Ölüdeniz, hvilket gør det til en let tilgængelig udflugt for dem, der ønsker en anderledes, mere eftertænksom oplevelse mellem strandbesøgene.