Gennem århundreder har både havet og sandflugten gjort sit til, at det kunne være plagsomt at leve på dette sted. Havet har gradvis taget et stykke land under hver storm. I middelalderen og frem til 1825 var Aggertangen den eneste faste vejforbindelse, der knyttede Thy sammen med det øvrige Vestjylland. Den rute havde stor betydning, når studene skulle drives til marked sydpå.
Aggerområdet var et udsat sted, hvor havet kunne finde på at tage et bid landjord og endda helt overskylle tangen. Ser man på gamle kort, vil man finde navne som Nabe, Bollum, Toft, Aalum og Vester Agger. Det er alle byer, som nu er forsvundet i havet. Et direkte brud på tangen fandt sted i 1825, men den nuværende Thyborøn Kanal blev først dannet ved en stormflod i 1862. I takt med, at havet havde bidt stykker af landet ved Agger, lå middelalderkirken i Vester Agger nu så yderligt, at man ikke turde lade stå til. Derfor besluttede man i 1838 at rive kirken ned og flytte noget af inventaret til en helt ny kirke, som blev bygget i Øster Agger. Det er den kirke, som ligger centralt i byen i dag.
Havet har gennem tiderne gjort store indhug i Vestkysten og for lidt mere end 100 år siden gik man i gang med at sikre kysten mod denne nedbrydning. Sidst i 1800-tallet forsøgte man sig med høfdebyggeri, men de var alt for svage og blev hurtigt skyllet væk under stormfloder. I årene 1900-1908 blev der anlagt 29 mere solide høfder vinkelret på kysten ved Agger. Høfderne havde til formål at bryde strømmen og begrænse havets nedbrydning af kysten. De har en længde på 220-385 m, dog er den ekstra kraftige dækmole ved Thyborøn Kanal 800 m lang. Der er også bygget kunstige diger for at forhindre stormfloder i at gøre skade på landet bag klitterne.
De mange bestræbelser har efterhånden båret frugt, men kystsikring og vedligeholdelse af anlæggene er fortsat en vigtig opgave. Heriblandt den strandfodring, man foretager på udsatte steder som f.eks. sydspidsen af Agger Tange, hvor man påfører sand for at holde havets nedbrydning stangen.