Ce temps fort de l'émission arrive lorsque la clé est perdue lors de l'épreuve de l'Énigme du Père Fouras. Le Père Fouras lance la clé à la mer. Le candidat se trouve sur la petite plateforme métallique juste devant la porte extérieure de la cellule 019. Suivant la hauteur de la marée, il peut sauter directement dans l'eau, ou descendre de quelques mètres sur un filet vertical en corde.
Il doit nager plusieurs dizaines de mètres afin d'aller chercher la clé qui flotte au large du fort. Une fois la clé en main, il doit faire le chemin inverse et remonter grâce au filet vertical. Une fois au sommet, il peut donner la clé à son équipe.
- Variante "Indice à la mer" : À 3 reprises en 1991, l'épreuve apparaît lors de la partie "aventures". En effet, lors de quelques émissions, le Père Fouras lance la cartouche à la mer si le candidat ne trouve pas la solution en vigie. Le cas se présence dans les émissions Les Tops, Les Punchs et Les Compagnons de Rackham le Rouge.
- Variante "Carte à la mer" : Entre la 11e émission de 1991 et la saison 1994, la première énigme de l'émission est consacrée à la quête du plan du fort. Comme la clé, le candidat échoue, une cartouche contenant le plan est jetée à la mer, qu'un candidat-plongeur doit aller récupérer.
En 2002, la Clé à la mer se joue en duel. En effet, le candidat doit aller chercher la clé à la mer (suspendue à quelques centimètres de l'eau par une corde) avant que La Naïade ne la récupère. Le candidat saute à l'eau alors que La Naïade attend encore quelques secondes. Mais malgré cela, les candidats sont souvent rattrapés et les clés leur ont échappé. Cette année-là, la clé à la mer n'était pas gagnée d'office.
En 2010, la Clé à la mer devient une aventure à part entière. Un candidat de chaque équipe saute directement depuis la porte extérieure de la cellule 019, ils doivent nager jusqu'à une bouée, où se trouve deux cartouches avec un code. Le but est de les récupérer le plus rapidement possible, afin de revenir vers le fort, remonter rapidement le grand filet de corde et transmettre sa cartouche à un membre de son équipe. Ce dernier devra revenir dans la cour intérieure afin de l'ouvrir pour en découvrir le code à chiffres.
Le duel est terminé lorsque l'un des deux candidats parvient à ouvrir le coffret à double-porte fermé par un cadenas, grâce au code à chiffres récupéré précédemment.
