令人烦恼的是，被安置在那里的尼德兰工匠和农民很快就失去了价值，相应地对于将锡兰变为“白人”殖民地的期待开始衰减。即将就任的总督里克洛夫·范·戈恩在1663年派往阿姆斯特丹的时候抱怨说：“我们的殖民者大部分原来是士兵或水手，没受过什么教育，不懂贸易，只擅长开酒馆卖亚力酒……我们应该使锡兰能够自立。”
情况不像计划的那样进行。没有人愿意种地，或者投入到任何其他一种诚实劳动中。而且到18世纪初，他们变得越来越不像尼德兰人，而是更多地受到他们生活于其间的奴隶社会的影响。有一些流行的舞蹈，如“卡菲里纳”“奇科蒂”“拜拉”，是依据非洲的节奏舞动的。有一支舞蹈就叫作“莫桑比克”。新来的定居者还需要适应葡萄牙人娶僧伽罗新娘的做法。要不然，他们就娶混血妻子，她们抚养长大的孩子会讲葡萄牙方言。尽管尼德兰加尔文教派的牧师对此感到沮丧，但是那里确实没有其他选择，极少有白人妇女从尼德兰来到这个遥远的热带岛屿。
锡兰的异族婚姻导致它与好望角的社会结构存在显著差异，尼德兰人出海去往印度，到达好望角时差不多跑完了全程的三分之二，但所花费的时间却不到全部时间的一半。这两个殖民地都采用罗马-荷兰法，但是所处的环境形成对比。尽管东印度公司需要桌湾为航行去往东印度和从东印度归来的船只提供“补给”，但是好望角的居民从来不觉得他们属于东方。甚至那些没有机会或者希望返回欧洲的人，仍保留了大量的本国文化，到18世纪中叶，开普敦成为一个相当国际化的地方。
相反，极少有人拜访锡兰的首都科伦坡，那些去了的人也不喜欢它。那里的学校贫穷破败，人们很少去教堂，而准欧洲社群又似乎沉溺于喝酒和卖淫。法令规定与“异教徒”在一起的女性基督徒会被鞭打直至流血，她们会被打上烙印，带上镣铐，她们的孩子还会沦为奴隶，但是根据种族和宗教将居民隔离开来的尝试并不成功。
但是，每年锡兰都是准备返回家乡的尼德兰东印度商船的聚集地。当开始吹起东北季风时，来自遥远港口，满载香料、棉布和丝绸的货船聚集在加勒港。他们的习俗是在圣诞节这天，等待船长们在加勒的加尔文宗教堂祈祷完毕后，开启这场返回家乡的长途航行。他们畏惧的不仅是暴风雨。在战争时期（大多数时候都是），他们在马达加斯加岛的周边海域遭遇私掠船的袭击，马达加斯加岛正好处于锡兰和好望角之间的航线上。
尼德兰人总是对其他欧洲强国在马达加斯加的活动保持警惕，因为这座大岛具有明显的战略价值。然而，实际上，在阿尔布开克和其他葡萄牙人对不怀戒心的岛民发动了第一轮袭击之后，马达加斯加被忽略了。那里没有黄金，没有香料，没有大象，也就没有象牙，而这座岛屿作为奴隶的一个来源的潜力也才刚刚有所显露。
然而，在范·里贝克到达好望角之前九年，法国人已经在马达加斯加的南端建立了一个定居点。1642年，路易十三的首席大臣红衣主教黎塞留在临终前下达了一个命令，开启领土扩张的冒险。黎塞留强烈地认为法国必须立刻在东方展现它的力量，而马达加斯加似乎是通往印度的一块非常适合的垫脚石。为了向当时还是一个婴儿的路易十四致意，这个定居点取名多凡堡，后来路易十四正式将马达加斯加（面积比法国还要大）吞并到他的帝国里。此时有四个欧洲国家争夺好望角以东地区：葡萄牙、尼德兰、英国和法国。
黎塞留要求尽快占领这座大岛的紧迫感是对的，因为1645年3月，就在多凡堡建设完成之前，一支由一百四十个英国清教徒组成的连队在岛屿南部的圣奥古斯丁湾登陆。他们想要建立一个像二十五年前首批清教徒在弗吉尼亚创建的那样的殖民地。这个想法受到一位为英国东印度公司服务的医生沃尔特·哈蒙德的鼓励，他曾多次停留该岛。他宣称岛上的居民是全世界“在世俗事务方面”最幸福的人，他们会欢迎殖民者。在1640年出版的一本书中，哈蒙德认为，“由于那里物产丰盛，居民亲切，我们英国的船只可以得到很好的放松，那里是一个充满希望的地方，适合开拓种植园”。
在黎塞留提出倡议之前两年，哈蒙德认为，“没有一个基督徒国王”可以宣称对马达加斯加岛拥有所有权：“西班牙国王要办的事已经很多了，以至无法腾出空来反对我们在那里的活动，我们的人可能会享受到那里最丰硕的一次收获的首批成果，那比在美洲拾人牙慧要好得多。”这个说法反映出，那个时代的英国人普遍认为牢牢控制新世界的西班牙（还统治着葡萄牙）将会一直在那里统治下去。这也是梦想在全世界开始建立殖民地的英国商人冒险家的全盛期：例如威廉·库尔唐爵士，1627年他在巴巴多斯岛登陆，带去了一千八百五十个定居者，要不是他去世了，他一定会在马达加斯加岛干出一番相似的事业。莫尔的《乌托邦》（citeutopia/cite）和弗朗西斯·培根子爵的《新大西岛》（citenewatlantis/cite），鼓舞人们建立理想社会，远离贪婪和纷争不断的欧洲。
1646年，商人理查德·布思比出版了一本口吻要比哈蒙德更加恭维、对马达加斯加岛简介的小册子。那个时候清教徒已经到达该岛，但是要想了解他们将会遭遇什么还为时太早。布思比预测，马达加斯加岛上的种植园数量会超过“美洲或者其他地方”。但是，定居者不快乐，因为他们已经知道了完全不同的情况。他们登陆的地方土壤贫瘠，当地人也不友好，他们把欧洲人视为奴隶。这些想要成为定居者的人受到当地人的围攻，他们被困在栅栏圈里直至饿死。
最初的一百四十个定居者中只有十二个人返回了英国；还有几个人得救，被带到了印度；1647年“太阳”号船搭载三位妇女和一位牧师前往毛里求斯。一位叫作波尔·沃尔德格雷夫的幸存者，苦涩地回应那本将马达加斯加描述为“真正的人间天堂”的书，他说如果坚持从事医生这个老本行，哈蒙德应该会做得更好。
法国人在多凡堡坚守的时间比清教徒的定居点长多了，为此也付出了更大的伤亡代价。在1674年最终放弃马达加斯加岛之前，法国至少派出了四千名定居者和士兵，几乎无人生还。许多人死于疾病，其他人死于和当地社群的冲突。凭借母国的稳定支援，他们定居点的情况会好很多，但是随着时间的流逝，没有一艘法国船到来提供援助。守备部队的残余部分撤退到留尼汪岛（后来叫作波旁岛）和法国在印度的主贸易站本地治里。二十年后，一位尼德兰船长到访多凡堡，发现统治它的是一个来自西印度群岛（马提尼克岛）的海盗“塞缪尔国王”。塞缪尔率领二十个白人罪犯、三百个当地民兵，以及一支由有舷外托架小船组成的舰队，在马达加斯加南部海岸的广阔区域内作威作福。
尼德兰人没有在马达加斯加建立殖民地，但是他们在那里购买奴隶，以便为他们在毛里求斯的蔗糖种植园提供人力，这座岛后来成为好望角劳动力的一个来源地。尼德兰人还首先意识到该岛与印度尼西亚有民族联系，因为马达加斯加的精英所讲的语言与他们在印度洋东部的殖民地当地民众所说的语言相似。岛屿中部高度超过6000英尺的山被印度尼西亚人称作霍瓦山，他们坚信这座山对较小的社群有重要影响。
几个世纪以来，由于与非洲的联系，岛上的大多数人口都是有色人种，特别是距离莫桑比克两天航程的西海岸地区。早先时候，“佤克佤克人”将奴隶运过来为他们工作。后来，阿拉伯商人从非洲运来人口到他们在岛屿北端的定居点。在低地，还有很多逃出来的黑人的殖民地聚居地，他们被称作“逃亡黑奴”。到17世纪晚期，马达加斯加已经被认为是一个为美洲种植园提供奴隶来源的地方。有些奴隶乘坐小船，从莫桑比克被运到马达加斯加的待贩运奴隶临时禁闭处，其他奴隶是在突袭附近的科摩罗群岛时被抓获的。他们用枪炮、手镯、布料、铁棒和白兰地从奴隶贩子手中购买奴隶，然后用船将奴隶运过好望角。英国船只在奴隶贸易中表现得非常积极，以至于有时候8艘英国船会在同一个地方抛锚，因为马达加斯加的奴隶远比几内亚的奴隶便宜，那里的激烈竞争抬高了价格。巴巴多斯岛和邻近的加勒比群岛的种植园劳力中，一小部分重要的奴隶来自马达加斯加岛，其他奴隶乘船被运往牙买加。
一艘形单影只的商船经过马达加斯加，一个机会自动降临了：一些奴隶贸易商想在外海劫掠。他们竞相捕捉“猎物”，割断从更加拥挤的加勒比海地区向印度洋移民的人的喉咙。很快，马达加斯加就因为新近出没的海盗而臭名昭著。对这些海盗奢华生活的夸大报告立刻传到欧洲，使得原来由哈蒙德提出的那个谬误——这座岛是一个亚热带伊甸园——重新流行起来。该岛被珊瑚礁环绕的海岸线为许多国家的海盗提供了隐匿处，而其中一个离岛圣玛丽是他们集结的理想场所。
马达加斯加的海盗开始去往北部远至红海的地方冒险，去劫掠那里的商船，尽管他们的问题是在何处才能将他们劫掠到的东西在不被捕的情况下出售。通常，他们能够期盼到的最好结果是有一群大胆帮凶来访，他们假扮成诚实的商人，载着武器、军需、衣服和酒，用来交换劫掠的财宝。有些偷偷摸摸从新英格兰来的补给船可能是进入印度洋的第一批美洲船只。
18世纪的编年史作者是这样写海盗的，有些不只是海上的流浪者：围绕来自普罗旺斯的船长米松发展出了一段令人震惊的传奇，据说他的衣着十分优雅，言语也很热情。人们普遍认为他加入了多明我会的叛徒卡拉乔利修士的军队，他们想在马达加斯加岛北端的安采拉纳纳湾建立“自由之国”。来自普利茅斯的英国海盗汤姆·图也加入了他们。
他们及其追随者宣称，一个凭借自己的勇气偷窃富人的人，要比在法律的保护下——通常是使用合法的权力——偷窃穷人光荣得多。“自由之国”的座右铭是“为了上帝和自由”，他们甚至有基本的议会，会上使用类似世界语的语言。米松建造了很多单桅帆船，其中一艘名为“童年”号。
“自由之国”存在的时间很短。尽管它向海一面的防御工事十分坚固，足以抵御一支葡萄牙舰队的攻击，但是它朝陆地的一侧没有任何防护，因为米松认为他们已经赢得了邻居马达加斯加人的友谊。某天夜里发生的事情证明他是错的：定居点被攻陷。只有45个人幸存了下来，海盗-修道士卡拉乔利也死了。“自由之国”随之终结。
在马达加斯加的所有海盗中，最著名的是苏格兰人威廉·基德船长，他在航行进入印度洋之前，一生的大部分时间是在纽约度过的。当他带着大量奖赏返回美洲时，基德被捕并且被带到了伦敦。经历可疑的审讯后，他被绞死了，那时候他仍然宣称他只是一艘私掠船的船长，忠诚对抗法国。（一艘私掠船的船长从他的政府处得到一份委任，允许他追捕敌船，然后劫掠他们的货物。如果能将被俘获的船当作奖赏带回家，那才是真正的胜利，否则，他们获得首肯的惯例是炸沉那艘船。）
尽管从笛福到罗伯特·路易斯·史蒂文森等作家大多颂扬英国的海盗，无论他们是真实的还是虚构的，但是法国的海盗数量更多。18世纪早期，莫卧儿帝国通过苏拉特的总督向路易十四抱怨，说这些强盗妨碍他的臣民到麦加朝圣。法国派驻印度的一位官员承认，他的国家的名字的确成了海盗的同义词。
最后，在欧洲国家齐心协力开展“清扫海洋”的活动时，法国海盗在马达加斯加留下了最后的印记。它使之带有一种高卢式的氛围（完全不是激发人的暴力倾向那一类的）。随海盗而来的是法国商人和冒险家，他们开拓了通往内陆的路线。尽管失败了，但多凡堡成为一个预示，它是通往殖民主义之路的指示牌。