Kvitholmen (Kvit=weiß) wurde zunächst in einer niederländischen Karte aus dem Jahre 1685 erwähnt und dort als „Whitholmen“ bezeichnet. Der charakteristische Holmen war ein wichtiges Merkmal für die Seefahrer.

Die Leuchtturmkommission schlug 1828 einen Küstenleuchtturm in der Hustadvika vor, kombiniert mit einem Leitfeuer auf Staveneset (bei Kristiansund). Da verschiedene Auffassungen herrschten, wurde ein fünfköpfiges Gremium gebildet, das darüber beratschlagte. Vor Baubeginn wurde eine Umfrage durchgeführt, ob ein Leuchtturm auf Ona oder auf Kvitholmen erbaut werden soll. Die Mehrheit entschied sich für Kvitholmen.

Bei der Inspektion im Jahre 1838 wurde beschlossen, dass der Leuchtturm auf dem höchsten Punkt des Holmes, 16 mM, erbaut werden soll. Weitere zwei Jahre zogen ins Land und am 5. Mai 1840 kaufte das „Marine Departementet“ den Holmen von Nikolai Knudzon, Handelshuset aus Kristiansund.

Lieutenant Oluf Antzen leitete das erste Jahr das Bauprojekt. 1841 wurde er Norwegens erster Leuchtturmdirektor. Er stellte u. a. Schreiner aus Nordfjord, Zimmerleute aus Kristiania, Bergleute aus Sunnmøre und Schmiede aus Porsgrunn ein. Rund 100 Männer arbeiteten auf Kvitholmen.

Es war eine logistische Herausforderung die verschiedenen Baumaterialien nach Kvitholmen zu transportieren. Der kleine Hafen kam schnell an seine Belastungsgrenze und musste vergrößert werden.
Die rauen Wetterbedingungen waren ein anderes Problem. Am 23. Januar 1841 tobte ein Orkan in der Region. Das Meer ging über den höchsten Punkt von Kvitholmen und riss viele Baumaterialien mit sich. Auch der neu erbaute Pier wurde weitestgehend zerstört.

Der 16 m hohe Turm, die Wohn- /und Nebengebäude sowie das Maschinenhaus wurden aus Granit erbaut, der aus dem östlichen Teil der Insel abgebaut wurde. Der Linsenapparat, 2. Ordens wurde von der Firma Henry Lepaute, Paris, geliefert und das rote Laternengehäuse von Nes Jernverk.

Am 1. September 1842 erleuchtete das Feuer von Kvitholmen. Seine Feuerhöhe betrug 33 m und hatte eine Tragweite von 15,1 sm. Kvitholmen war ein Küstenfeuer. Anton Herlofsen trat seinen Dienst als erster Leuchtturmwärter an. 1902 bekam Kvitholmen einen sekundären Turm aus Beton am Fuße des alten.

1906 versetzte man die Laterne vom sekundären Turm auf den alten Turm. Da die Laterne einen größeren Durchmesser hatte als der Turm selbst, musste man den Turm um ca. 8 m reduzieren.
Kvitholmen verlor seinen Status als Küstenfeuer und war ab diesem Tag nur noch ein Leitfeuer.

Vom 24. bis 26. Februar 1954 tobte mal wieder ein Sturm über der Hustadvika. Das Meer brach erneut über den höchsten Punkt von Kvitholmen und unterspülte das Leuchtturmwärterhaus. Die Fenster in der ersten Etage zerbarsten und der Gehweg wurde weggespült, der ganze Holmen stand unter Meerwasser.

1956 wurde ein neuer 12 m hoher Stahlbetonturm errichtet und mit einer neuen Linse 3. Ordens ausgestattet. Der Leuchtturm wurde von eigenen Generatoren angetrieben.

1977 erhielt Kvitholmen ein Racon.

Im Frühjahr 1991 wurde Kvitholmen automatisiert und der bis dahin ausübende Leuchtturmwärter verließ Kvitholmen.