Test de 8 VPN : 700 mesures, un robot et des surprises.

Les comparaisons de services VPN sont souvent basées sur des relevés effectués manuellement, généralement sur un ordinateur portable durant un après-midi. Les médias se contentent parfois de reproduire les informations fournies par les fournisseurs eux-mêmes. Dans un souci de rigueur et d’objectivité, nous avons choisi une approche différente : nous avons appliqué le protocole de mesure utilisé par Clubic chaque mois, mais en l’automatisant pour obtenir des données précises et continues, en analysant ainsi 700 relevés.

Pour mesurer efficacement un VPN, il ne suffit pas de faire un test ponctuel. Les performances d’une connexion peuvent varier en fonction de l’heure, du serveur utilisé et de la charge du réseau. Un seul relevé ne permet pas d’obtenir une image fidèle. Il est donc essentiel de répéter les tests dans des conditions identiques sur plusieurs jours, tout en mesurant également le débit sans VPN pour établir une référence.

C’est ce que Clubic a mis en place depuis plusieurs années avec son baromètre VPN, en effectuant trois relevés quotidiens (à 9 h, 13 h et 18 h) sur une période de trois jours, en utilisant une connexion Ethernet, d’abord sans VPN puis avec, vers quatre destinations (France, États-Unis, Royaume-Uni, Japon) et en testant une dizaine de fournisseurs. Ce processus, bien que rigoureux, requiert une journée de travail par cycle.

Nous avons donc repris ce protocole, avec l’accord de son auteure, et l’avons automatisé. Cette méthode nous permet de bénéficier des avantages d’une machine : elle ne manque jamais un créneau, effectue des mesures nocturnes, chronomètre chaque connexion, vérifie toutes les adresses de sortie et conserve des archives complètes.

Pour réaliser ces tests, nous avons utilisé un mini-PC fonctionnant sous Linux, spécifiquement dédié à cette tâche, connecté en Ethernet à une fibre Free de 2,5 Gb/s. Aucun autre trafic n’est autorisé pendant les mesures, garantissant ainsi que le banc de test vérifie la charge de la machine et l’absence de tunnels résiduels avant chaque relevé.

Chaque mesure est effectuée dans un espace réseau isolé, où le VPN est activé. Le test de débit est lancé depuis cet environnement, sans interférence d’autres processus. À la fin de chaque créneau de test, l’environnement est réinitialisé.

Quatre fois par jour, le banc de test effectue les opérations suivantes :
1. Mesure le débit sans VPN vers un serveur de test fixe pour assurer une référence stable.
2. Pour chaque fournisseur, établit une connexion en France, vérifie que le tunnel est actif et que l’adresse de sortie est bien française, attend quelques secondes pour stabiliser la connexion, puis mesure avant de se déconnecter.
3. Répète ces étapes pour les États-Unis, le Royaume-Uni et le Japon.
4. Passe au fournisseur suivant.

Chaque créneau complet génère 33 relevés (1 sans VPN + 8 fournisseurs × 4 pays) et prend environ 45 minutes. Les mesures sont effectuées une à une, sans parallélisation.

Pour le moteur de mesure, nous avons choisi de collaborer avec nPerf, le même service utilisé dans le protocole manuel de Clubic, contrôlé par son agent Linux. Chaque relevé conserve en mémoire le moteur qui l’a produit. Nous mesurons le débit descendant, le débit montant, la latence vers une cible fixe dans le pays de destination, la gigue, la perte de paquets, le protocole utilisé, le serveur attribué, l’adresse de sortie et le pays, ainsi que le temps nécessaire pour établir le tunnel.

Nous conservons toutes les données, même celles des mesures échouées, qui sont marquées comme invalides avec une explication. Un tunnel qui se connecte mais dont l’adresse de sortie est incorrecte est également signalé. À ce jour, nous avons réalisé deux campagnes, totalisant 704 relevés, dont 685 valides.

Avant de plonger dans les résultats, il est crucial de préciser que le test a été effectué dans un environnement Linux automatisé, sans passer par les applications des fournisseurs. Nous avons établi les connexions nous-mêmes, en utilisant les fichiers de configuration fournis par les fournisseurs. Trois d’entre eux (NordVPN, Proton VPN et Private Internet Access) offrent des configurations WireGuard durables, tandis que les cinq autres (CyberGhost, ExpressVPN, PureVPN, Surfshark et PrivadoVPN) ont été testés en OpenVPN UDP, soit parce que leurs clés WireGuard expirent rapidement, soit parce qu’ils ne proposent pas de configuration manuelle pour WireGuard.

Il est important de noter qu’OpenVPN est généralement plus lent que WireGuard. Il utilise un seul cœur pour le chiffrement et plafonne souvent autour d’un gigabit sur une machine performante, tandis que WireGuard fonctionne directement dans le noyau Linux et peut gérer une fibre de 2,5 Gb/s sans problème. Comparer les deux dans un même classement serait donc inéquitable.

Nous avons donc élaboré deux tableaux distincts : le premier compare les trois VPN utilisant WireGuard, tandis que le second présente les performances des cinq autres en OpenVPN. Le graphique ci-dessous illustre les débits mesurés en juillet pour chaque fournisseur, destination par destination.

Les résultats montrent que les trois fournisseurs utilisant WireGuard atteignent des débits supérieurs à 2 000 Mb/s vers la France, les États-Unis et le Royaume-Uni, tandis que les autres restent en dessous de 1 350 Mb/s en OpenVPN. Cette distinction est cruciale pour interpréter les résultats.

En ce qui concerne les VPN WireGuard, nous avons observé que NordVPN, Proton VPN et Private Internet Access ont des performances similaires sur 16 créneaux en juillet. Les trois fournisseurs saturent la ligne de fibre à 2 Gb/s vers la France et le Royaume-Uni, rendant leur impact sur la vitesse presque imperceptible.

NordVPN se distingue en affichant une moyenne supérieure à celle sans VPN. Cela s’explique par la variabilité de la ligne de référence, qui a fluctué entre 950 et 2 360 Mb/s selon les heures. En revanche, NordVPN a maintenu un débit stable au-dessus de 2 000 Mb/s. Ainsi, il est le plus régulier des trois, avec un écart-type de 57 Mb/s, contre 103 pour Proton et 154 pour PIA.

Les résultats d’août confirment cette tendance, avec des débits similaires pour NordVPN, PIA et Proton VPN, bien que les pourcentages soient légèrement inférieurs en raison d’une référence plus stable.

Pour ce qui est des fournisseurs utilisant OpenVPN, le classement révèle que personne ne dépasse 1 350 Mb/s, même vers la France, où les VPN WireGuard atteignent des débits bien supérieurs. Les résultats d’août montrent une continuité dans ces performances.

Il est essentiel de noter que les performances en termes de latence et de gigue varient également. La latence est mesurée par un ping vers une cible fixe dans le pays de destination, et les résultats montrent que tous les fournisseurs se situent entre 12 et 30 ms vers la France, tandis que les latences vers le Japon atteignent des valeurs beaucoup plus élevées en raison de la distance.

En ce qui concerne la gigue, qui mesure la variation de latence, elle est un indicateur clé de la qualité du réseau. Surfshark, malgré un débit plus faible, présente une gigue très stable, tandis que CyberGhost souffre de problèmes de latence, notamment vers le Japon.

Enfin, le temps de connexion varie également, avec des écarts significatifs entre les fournisseurs utilisant OpenVPN. Les mesures montrent que certains fournisseurs prennent jusqu’à 8 secondes pour établir une connexion, tandis que d’autres sont beaucoup plus rapides.

En conclusion, pour les utilisateurs de fibre rapide souhaitant conserver un débit optimal en Europe, NordVPN, Proton VPN et PIA en WireGuard s’avèrent être les meilleurs choix. Pour des connexions vers le Japon, PIA se démarque, tandis que NordVPN et Proton VPN sont recommandés pour les États-Unis. Pour les activités nécessitant une faible latence, comme le jeu en ligne, il est préférable de privilégier la gigue plutôt que le débit. Enfin, pour ceux utilisant OpenVPN sur un routeur ou un NAS, il est prudent de s’attendre à des débits limités.

Ce test présente certaines limites, notamment le fait que plusieurs fournisseurs ont été évalués dans un protocole qui n’est pas le plus performant pour eux. De plus, les tests ont été réalisés sur une seule fibre et un seul fournisseur d’accès. Les prochaines campagnes incluront des tests en WireGuard pour une évaluation plus précise.