Söderlångvikissa on ollut asutusta jo 1500- luvun alussa  Se on ollut asumaton vain lyhyen ajan 1600- luvulla. Omistajat vaihtuivat usein : 1500 luvulla he olivat Jonssoneita tai Jönssoneita, 1600- luvulla Michelssoneita, Tomassoneita, Sigfridssoneita ja Faxell-Cronmarckeja. 1700- luvulla Söderångvikin omisti pitkään Thesleffin suku ja 1800- luvun alussa se kuului Björkbodan omistaneille af-Peterseneille ja Ramsaylle. Vuonna 1927 Söderlångvikin kartano siirtyi silloiselta omistajaltaan Ab Dalsbrukilta päätoimittaja Amos Andersonille, josta myöhemmin tuli vuorineuvos ja filosofian tohtori h.c. Tänne Dragsfjärdiin, lähelle synnyinseutuaan, hän perusti itselleen toisen kodin, missä hän lepäsi, rentoutui ja harjoitti suurta vieraanvaraisuutta.Jo ennenkuin Amos Anderson osti Söderlångvikin, hän oli hankkinut maata Kemiönsaaren muista kunnista. Kaiken kaikkiaan hän omisti noin 7000 hehtaaria metsää, peltoja ja saaria Kemiön, Dragsfjärdin ja Västanfjärdin kunnissa, sekä Paraisilla.

Kun Amos Anderson vuonna 1927 osti Söderlångvikin, paikalla oli 1800- luvun jälkipuoliskolla hirsistä rakennettu yksikerroksinen talo, joka oli vuorattu laudoilla ja maalattu punaiseksi. Talossa oli kuusi huonetta ja terassi meren puolella. Talo rakennetiin uudestaan arkkitehti W.G. Palmgvistin piirustusten mukaan 1934-35. Taloon rakennettin toinen kerros hirsistä ja se rapattiin valkoiseksi. Siihen tuli yksitoista huonetta ja keittiö. Vuosina 1937-38 talon molemmille sivuille liitettiin tiilestä rakennetut yksikerroksiset siivet, joiden kattoterasseja reunustavat pylväskaiteet. Talon pituus on 47 metriä ja pinta-ala 560 neliömetriä. Talossa sijaitsee nykyään Söderlångvikin museo. Sinne on sijoitettu osa Amos Andersonin yksityisestä taidekokoelmasta ja huonekaluista. Söderlångvikissa alunperin sijainneiden esineiden lisäksi niitä on siirretty sinne Amos Andersonin Helsingin kodista, joka 1960- luvun alkupuolella muutettiin taidemuseoksi.