A lenda conta que, aquando da tomada pelos Mouros de Trancoso, essa importante praça fortificada da Beira Alta, morto o alcaide que a defendia, nela ficou prisioneira sua filha de nome Iberusa Leoa, que o Mouro, agora senhor do castelo, mandou encerrar numa das torres do castelo. Tinha para distracção seu açafate de bordar e, como única luz, a que entrava por uma pequena fresta talhada na parede da muralha, por onde ela, distraída, espreitava o horizonte distante, onde o tropel de soldados ou uma nuvem de poeira pudesse anunciar o exército cristão que a libertaria.
Fora da porta, dois guardas possantes guardavam a entrada, que apenas se abria para lhe entregar um pedaço de pão seco e uma sede de água, ao meio dia. Viam-na, às vezes, os guardas rezar e, um dia, aconteceu que ambos quiseram saber das orações e do Deus a quem rezava. Ela lhes contou. E com tal encanto o fez que os fascinou e os levou a requerer também o baptismo de cristãos. E que ela lhes disse que isso apenas poderia acontecer, quando os cristãos viessem, de novo, à posse do castelo.
Houve, um dia, em que o exército de D. Afonso Henriques acampou ao longe, esperando o melhor momento para poder atacar o castelo. Iberusa vislumbrou a bandeira das quinas e achou que a sua libertação estava perto.
E assim aconteceu. Certa noite, os soldados do rei cristão atacaram o castelo, que os soldados mouros não puderam defender. Mas, quando os soldados cristãos entraram na torre onde estava Iberusa e seus dois carcereiros mouros, ela rogou-lhes que lhes poupassem a vida, que cristãos se iriam tornar. Tal pedido chegou à voz do Rei, que lhes perdoou.
Iberusa pediu, então, ao Rei licença para mandar construir uma capela, a que daria o nome de Nossa Senhora da Fresta. E, desde então, ali ficou a preciosa capela, que rememora estes acontecimentos antigos. Como nos conta a lenda. A história verdadeira essa tem outra forma de contar.
