Der er et gammelt sagn om kapellets opførelse, som lyder:
En svensk greve var i havsnød ud for Gudhjem, og han lovede sin skytshelgen St. Anna et kapel, hvis han kom frelst i land. Et andet sagn fortæller, at det planlagdes, at kapellet skulle opføres i den nordre ende af byen ved Snogebjerg på Norresan, og der blev påbegyndt et byggeri, men alt, hvad der blev lavet om dagen, blev revet ned om natten. Det var de underjordiske, der boede der, og de kunne ikke lide kirker, eller hvad dertil hører. Derfor var det også, at folk skulle få deres børn døbt så hurtigt som muligt, for at de underjordiske ikke skulle forbytte dem med en af deres egne. Af den grund flyttedes byggeriet ovenfor, hvor greven var kommet i land ved Grevens Dal, hvor de endda fik hjælp af de underjordiske, således at arbejdet gik hurtigt og godt.
Ved nedrivningen af St. Anna Kapel i 1896 har professor Mathias Bistrup givet sin beskrivelse af kapellet: “Den uanselig dårlig vedligeholdte, men brugbare bygning, stod som et rektangulært langhus med våbenhus tilbygget foran døren. Min iagttagelse, som er gjort under nedrivningen, viser, at kapellets oprindelige skikkelse (stil) har været romansk med korbue og selvstændig smallere kor i øst. I denne oprindelige bygning af kløvede sten med detaljer af munkesten, som antagelig er blevet opført i 1200 året, har i de følgende århundreder fået sin enkle form ved en ombygning, hvor korbuen er blevet nedtaget, den nordre kormur rykket ud i forlængelse af skibets nordre mur, mens søndre til gengæld er blevet lavet rund og tilsluttet korets sydmur. Måske i forbindelse hermed og i hvert fald endnu i 1300 tallet er dermed til det hele blevet smykket med kalkmalerier, bedst bevaret helt mod øst på sydvægen, hvor der afdækkedes figurer i to … , nederst en række helgeninder stående parvis mellem søjler, derover skabelsen”.
“I 1777 blev kapellet forhøjet godt en meter, hvor der brugtes sandsten fra Frederiks Stenbrud ved Nexø, og man fornyede det indtil da med munke og nonne lagte tag, som mod øst fik en valm, mod vest en muret gavl, kronet med et beskedent spånklædt spir på tagryggen, bag dette blev der 1870 rejst et meget farvelagt hus til klokkerne, som hidtil havde hængt i en galge på vestgavlen“.
Viggo Pedersen fortæller: “Mit første besøg i St. Anna Kapel husker jeg ikke, det var den 18. marts 1888, da jeg blev båret derind. Den dag blev jeg døbt og fik navn. Jeg var 35 dage gammel og nu 96 år siden, – en lang tid, når man tænker tilbage. Der er sket meget i den tid, og den rummer mange gode minder, som dukker frem, når jeg sidder og lader tankerne gå tilbage”.
“Næste gang jeg kom til St. Anna Kapel var julemorgen til Olesang. Det var tidligt, og det var meget mørkt – der var sne. Forresten var der altid sne ved jul i min barndom. Der var en højtidelig stemning over folk, når de julemorgen mødtes til Olesangsgudtjenesten. Det var skolelæreren, der også var kirkesanger – som det hed det dengang. Det skulle skolelæreren også påtage sig at udføre, og selv ved begravelser måtte skolelæreren overlade børnene til selvbetjening, mens han løb til kirkegården eller til hjemmet, hvorfra han skulle synge liget ud og derefter vandre til kirkegården og skynde sig hjem til skolebørnene igen. Hvordan højtideligheden foregik, husker jeg ikke, men der blev sunget salmer, og lærer Niels Ingvar Jensen læste juleevangeliet. Der var koldt, der kunne ikke fyres. Der var ingen skorsten, og derfor måtte folk være varmt påklædt, når de gik i kirke. Efter højtideligheden var slut, hilste de fremmødte på hinanden og ønskede glædelig jul og vandrede derefter hjem til en varm stue samt efter datids forhold et veldækket morgenbord. Kaffe, hjemmelavet pålæg på maden, hygge og julestemning. Far fik to fridage og kunne være hjemme, hvilket han jo ellers ikke var om dagen, – kun søndag og så om natten”.
“Mine sidste minder om St. Anna Kapel er fra dengang, da de kirkelige myndigheder, præst og kirkeværge, bestemte, at da de nu havde fået en ny kirke, havde de ikke råd til at ofre penge på at vedligeholde det gamle kapel, som var meget simpelt og forfaldent. Af den grund og med liden sans for kulturværdier bestemte de, at St. Anna Kapel, hvortil Gudhjem og Melsted beboere gennem 600 år havde vandret søndag efter søndag, år efter år, slægt efter slægt, hvor de var blevet døbt, konfirmeret, viet og begravet ved kapellet, nu skulle rives ned.
Det var meget interessant at være med til. Jeg husker, jeg var sammen med mine legekammerater oppe på loftet, hvor der lå så mange bøger og andet gammelt, som vi legede med – alle de ting, som nok havde haft værdi for eftertiden, men det blev sammen med sten og murbrokker kørt ned gennem Grevens Dal. Tagsten, tømmer og brædder samt inventar blev solgt ved auktion. Altertavle og prædikestol blev af bygmesteren af kirken fjernet og sendt til Nationalmuseet i København, hvor de der blev istandsat og sendt tilbage til Bornholms Museum i Rønne. Her blev de opbevaret ind til året 1951″.
Provst Nepper Christensen, der arbejdede med planer om en restaurering af Gudhjem kirkes udvendige rum og bestandele, hvilket Nationalmuseet skulle give tilladelse til og medvirke til, stillede samtidig en anmodning om at få den gamle altertavle tilbage til kirken. Tilladelsen blev givet på den betingelse, at den kunne stilles op på prøve, for at se om den passede ind i omgivelserne. Og dette skulle deres arkitekt bestemme, hvis altertavlen ikke skulle leveres tilbage til museet. Jeg blev spurgt af provst Nepper Christensen, om jeg ville køre ud til museet i Rønne og hente den gamle altertavle. Jeg var lidt betænkelig, hvis der skulle ske et uheld under transporten. Derfor forhørte jeg mig med forsikringsselskaber angående forsikring ved transporten, men præmien blev så stor, at jeg måtte opgive det. Jeg kørte derefter der ud og henvendte mig til bestyreren, hvor jeg ikke blev særlig venligt modtaget, men fik dog lov til at tage tavlen.
En fra bestyrelsen spurgte mig, hvad Gudhjem-boerne ville sige til at få en katolsk altertavle i deres kirke. Jeg svarede ham, at Gudhjem-boerne helt sikkert ville blive meget glade for at få deres gamle altertavle tilbage til deres kirke. Farvel og tak.
Vi kom hjem med altertavlen uden uheld og fik den anbragt på plads, hvor den passede til alterbordet og faldt godt til med omgivelserne. Den blev godkendt og fik tilladelse til at blive der. Da nu altertavlen var kommet til den hæder og værdighed, som den i sin tid var udfærdiget til og for Gudhjem kirke et klenodie, syntes provsten at også den gamle prædikestol burde flyttes tilbage fra museet, hvor den i Gudhjem kirke kunne blive benyttet til sit formål. Tilladelsen blev givet.
Igen kom Nepper-Christensen ned til mig og spurgte, om jeg ville køre efter prædikestolen på museet. Det sagde jeg ja til på den betingelse, at han fulgte med derud, da det ikke var mig personligt, der kom for at tage museets genstande. Jeg udførte kun bestilt arbejde og var klar over, jeg ikke ville blive venligere modtaget denne gang, og da det var provsten, der var modtageren af de på museet opbevarede genstande, måtte han også være modtageren af det, der eventuelt fulgte med. Da jeg ikke kunne forvente nogen hjælp derinde fra og prædikestolen var tung og uhandig at bære, tog jeg Dres og Knud med derud, hvilket også viste sig at være nødvendigt. Vi var ikke velkomne, men heldigvis var Nepper-Christensen der, da vi kom, og overfor ham var de nødt til at opføre sig som gentlemen, – i hvert fald anstændigt. Museumsbestyreren var meget ophidset, da vi var i færd med at bære prædikestolen ud. Han kom hen til mig og slog ud med armene og sagde: ”Tag bare det hele.”
Jeg kan godt forstå, at de på museet var kede af at blive af med alt kirkeinventaret. Der blev nu to tomme pladser i det, der kaldtes kirkesalen, men kirkeinventaret forsvandt jo ikke, – de blev forandret fra museumsgenstande til brugsgenstande, hvilket måtte være en fordel.
Nu står ruinerne af Gudhjems ældste bygning tilbage, og jeg er den eneste, der er tilbage, der har bevåget dens kirkelige handlinger og dens ødelæggelse”.