La Couronne de Cuivre

C'est avec beaucoup de plaisir que je vous présente mon dernier projet en date : Advanced-Tra-Comparator (abrégé en A-T-C ou ATC)


Usage principal :

Ce programme a comme but d'aider les traducteurs de tous bords dans leurs tâches avec cet outil de comparaison de textes provenant des fichiers ".Tra" des différents jeux D&D.

La comparaison s'opère grâce à un algorithme très puissant appelé "Distance de Levenshtein" : https://fr.wikipedia.org/wiki/Distance_de_Levenshtein
Cet algorithme consiste à comparer 2 chaînes de caractères en entrée et nous restitue un score (appelé officiellement "distance", et par moi "différence")
Mon programme utilise celui-ci ainsi qu'une "marge d'erreur" pour considérer comme correspondantes ou non les 2 phrases en entrée.



Autres usages :

Mais celui-ci ne s'arrête pas là car il permet aussi d'exporter le résultat obtenu dans de nouveaux fichiers de traduction fraîchement créés.

D'autres usages sont aussi très intéressants à connaître, qui faciliteront certainement certaines tâches laborieuses.
Aussi, ce programme permet d'identifier assez effecacement tout problème potentiel de plagiat

Une FAQ détaillée sur l'utilisation du logiciel sera disponible très prochainement.



Aperçu / Screenshot :




Remerciements :

Je tiens à remercier la précieuse aide de @JohnBob qui m'a conseillé, donné son avis et surtout apporté ses connaissances dans les fichiers de traduction (.tra) tout le long de l'avancement et sans quoi, j'aurais infiniment plus galéré à configurer proprement A-T-C.
Sa motivation et son soutien ont été un véritable moteur à l'avancée du programme.



Dépendances :

Quickenshtein :
A quick and memory efficient Levenshtein Distance calculator for .NET
https://github.com/Turnerj/Quickenshtein

UTF-Unknow :
Detect character set for files, streams and other bytes.
https://github.com/CharsetDetector/UTF-unknown

MarkupConverter :
Converter from HTML to RTF, RTF to HTML, XAML to HTML and HTML to XAML.
https://github.com/figuemon/MarkupConverter

Microsoft Windows API Codepack :
https://github.com/Wagnerp/Windows-API-CodePack-NET
https://github.com/aybe/Windows-API-Code-Pack-1.1

NetBeauty2:
NetBeauty moves a .NET Framework/.NET Core app runtime components and dependencies into a sub-directory and make it beauty.
https://github.com/nulastudio/NetBeauty2


Informations pratiques :

Ce logiciel est développé en C# .Net 6.0 en utilisant le système d'interface graphique "WPF", il vous sera donc probablement nécessaire d'installer ce "runtime" afin de l’exécuter :
https://dotnet.microsoft.com/en-us/download/dotnet/6.0

https://fr.wikipedia.org/wiki/C_sharp
https://fr.wikipedia.org/wiki/Windows_P ... Foundation

Il est aussi possible que votre antivirus ne vous permette pas d'exécuter le programme car ceux-ci ont souvent la fâcheuse tendance à bloquer ce qu'ils ne connaissent pas.
Il vous sera donc possiblement nécessaire d'ajouter ATC dans la "liste des exceptions" de celui-ci.

Lien vers VirusTotal, site qui permet de scanner un programme avec une multitude d'antivirus :
https://www.virustotal.com/gui/file/522 ... 1679339720



Note finale :

Je ne souhaite pas, au moins dans un premier temps, diffuser le code source du programme pour des raisons de risque de réappropriation.
Cependant, il n'est pas impossible que je partage celui-ci malgré tout à 1 ou 2 personnes de confiance et qui auraient une bonne raison de le demander.


N'hésitez surtout pas à me soumettre vos retours, avis, conseils, améliorations et bugs rencontrés !

Bonnes traductions à tous et à toues

Voici déjà les questions auxquelles je vais répondre au mieux.
Celles-ci seront mises à jour au fur et à mesure des retours et changement du programme.

FAQ


~ Quelle est l'utilisation principale de ce programme ? ~ ~ Quelles sont les utilisations "secondaires" qu'apporte ce programme ? ~
~ Qu'entends-tu par "New Mod", "Original Mod" et "Original Mod Translation" ? ~
~ Puis-je annuler l'opération à tout moment ? Puis-je malgré tout l'exporter une fois annulée ? ~
~ Qu'est ce que l'option "Add Diff / Marge" en bas du programme ? ~
~ Qu'est ce que l'option "Original" vs. "Clean" en bas du programme ? ~
~ Qu'est ce que la "Diff" et la "Marge" ? ~
~ Quelle est l'utilité réelle de la marge ? Dois-je la modifier ? ~
~ Qu'est ce que ce "nombre de score de diff identiques" ? ~
~ Puis-je proposer des améliorations, de nouvelles fonctionnalités ? ~
~ Concernant les informations sur l'audio d'un dialogue, comment est-ce géré ? ~
~ Quid de l'encodage, à l'importation et à l'exportation des fichiers textes ? ~
Désolé d'avance pour les fautes d'orthographe ou pour une explication pas ou peu claire, j'essayerai d'améliorer cette FAQ du mieux possible grâce à vos retours.
Bonne lecture !

Nitrick a écrit : ↑lun. 20 mars 2023, 21:54 Je ne souhaite pas, au moins dans un premier temps, diffuser le code source du programme pour des raisons de risque de réappropriation.

Pour info, une annonce telle que celle que tu viens de partager suffirait pour prouver l’antériorité de ton logiciel en cas de litige avec quelqu’un tentant de se faire passer pour son auteur original. Donc si la crainte de te le faire "voler" est tout ce qui te bloque pour un partage des sources, celle-ci n’est pas vraiment fondée

vv221 a écrit : ↑lun. 20 mars 2023, 21:58

Nitrick a écrit : ↑lun. 20 mars 2023, 21:54 Je ne souhaite pas, au moins dans un premier temps, diffuser le code source du programme pour des raisons de risque de réappropriation.

Pour info, une annonce telle que celle que tu viens de partager suffirait pour prouver l’antériorité de ton logiciel en cas de litige avec quelqu’un tentant de se faire passer pour son auteur original. Donc si la crainte de te le faire "voler" est tout ce qui te bloque pour un partage des sources, celle-ci n’est pas vraiment fondée

Ce que tu dis est probablement vrai, mes craintes sont peut-être infondées mais c'est le premier projet que je publie de la sorte, dans le doute, je préfère le garder ainsi dans un premier temps.
Ensuite, comme précisé, je n'ai aucun problème à partager la source aux personnes de confiance dès à présent.

Intéressant. Si tu peux poster un tuto pour voir les utilisations possibles, ce serait cooooool.

Le Marquis a écrit : ↑lun. 20 mars 2023, 23:43 Intéressant. Si tu peux poster un tuto pour voir les utilisations possibles, ce serait cooooool.

Oui, c'est prévu au plus vite, c'est à dire, en théorie pour demain midi maxi

J'ai déjà ajouté les questions de la FAQ qui me viennent à l'esprit.

---

Bravo Nitrick, un grand merci à toi pour cet outil !

---

Le Marquis a écrit : ↑lun. 20 mars 2023, 23:43 Intéressant. Si tu peux poster un tuto pour voir les utilisations possibles, ce serait cooooool.

Salut Le Marquis, justement je me disais que ce serait intéressant de tester ATC avec Tortured Soul, afin de voir si ta traduction ne pourrait pas être facilement et rapidement adaptée aux versions EE...

J'ai fait un petit test avec l'anglais de la version TS_BPv6.10 et à première vu c'est pas mal du tout, la plupart des textes sont retranscrit pour les versions TorturedSoulsLite et pour TS_Sime !

Une première version de la foire aux questions (FAQ) est rédigée et publiée : voir le 2ème post de ce topic

J'espère répondre à un maximum de vos interrogations et que ça sera suffisent pour une utilisation efficace du logiciel, cependant, je serai heureux de répondre aux questions qui n'auront pas trouvé réponse adéquate

Degré de facilité d'utilisation comparé au plug-in "Compare"" de Notepad++ ?

deratiseur a écrit : ↑mar. 21 mars 2023, 16:35 Degré de facilité d'utilisation comparé au plug-in "Compare"" de Notepad++ ?

Aucun rapport...

deratiseur a écrit : ↑mar. 21 mars 2023, 16:35 Degré de facilité d'utilisation comparé au plug-in "Compare"" de Notepad++ ?

Je ne suis pas spécialiste de ce plugins, mais je pense que celui-ci ne permet de comparer qu'un seul fichier avec un seul autre fichier.. et la comparaison ne se fait que de passages avec d'autres passages.

Mon programme permet de comparer chacun des dialogues d'un mod avec chaque autre dialogue de tous les fichiers d'un répertoire de traduction, d'un coup d'un seul.
Ensuite, tout dialogue possédant une correspondance est affiché, avec la traduction éventuelle, ce qui apporte une visibilité de comparaison bien différente.
Sans parler des fonctionnalités d'exportation, etc.

L'un n'empêche pas l'utilité de l'autre, mais pour la comparaison de dialogues, c'est un peu comme comparer un boulier à une calculatrice "texas instruments".


Par contre, pour le "degré de facilité d'utilisation" spécifiquement, c'est toujours délicat de répondre pour celui qui a développé le programme de rester objectif...
Ceci étant dit, je le trouve très simple d'utilisation, maintenant il est probable qu'il faudra quelques essais pour un nouvel utilisateur avant de bien maîtriser l'outil.

La FAQ devrait aider aussi à la prise en main.

Nitrick a écrit : ↑mar. 21 mars 2023, 16:53 Par contre, pour le "degré de facilité d'utilisation" spécifiquement, c'est toujours délicat de répondre pour celui qui a développé le programme de rester objectif...

Je te comprends, j’ai le même souci avec le logiciel que je développe dont je répète sans cesse qu’il n’y a rien de plus facile à utiliser… Face à quoi les nouveaux utilisateurs ouvrent des yeux ronds comme des billes, et se demandent si j’ai perdu la tête

(c’est un outil qui ne peut s’utiliser qu’en ligne de commande, pour beaucoup de monde ça exclut la possibilité que ce soit "simple d’utilisation")

Nitrick a écrit : ↑lun. 20 mars 2023, 21:54 Voici déjà les questions auxquelles je vais répondre au mieux.
Celles-ci seront mises à jour au fur et à mesure des retours et changement du programme.

FAQ


~ Quelle est l'utilisation principale de ce programme ? ~

► Afficher le texte

Comparer l'ensemble des dialogues d'un mod avec ceux d'un autre OU avec ceux du même mod mais d'un autre auteur ou d'une reprise (comme pour le cas du mod Imoen Romance, par exemple)
Cette comparaison permet de relier les dialogues identiques ou les dialogues ayant été modifiés légèrement. Plus la taille du dialogue est grande, plus les modifications sont tolérées.
Cela permet, ensuite, de faciliter le travail du traducteur qui pourra réutiliser une partie ou le tout de la traduction déjà réalisée.
Le programme pourra alors intégrer ces traductions directement dans de nouveaux fichiers ".Tra" comme 'base de travail'.

~ Quelles sont les utilisations "secondaires" qu'apporte ce programme ? ~

► Afficher le texte

Elles sont plusieurs, et je ne les ai même peut-être pas toutes encore devinées.

- Création de fichiers ".Tra" avec le squelette clean (les "@XXX = ~~" + audio éventuel) pour la traduction d'un mod qu'un traducteur souhaite entreprendre.
Pour se faire, il suffit d'indiquer un dossier vide pour le "Mod Original" et le "Mod Original Translation".
Aucune comparaison ne sera effectuée, mais l'utilisation de la fonction "Export as Tra" créera tout de même le squelette de la future traduction.

- Comparaison entre 2 traductions provenant de 2 traducteurs différents, dans le but de prendre le meilleur des 2 pour chaque dialogue.

- Utilisation des choix d'encodage pour convertire tout les fichiers ".Tra" d'un tel type d'encodage vers un autre (UTF-8 / ANSI uniquement actuellement, à voir si d'autres sont pertinents par la suite)

- Identification éventuelle d'un plagiat inter-auteurs de mods. C'est théorique bien sur, mais il me semble l'outil est adapté à cela.

Je veux pas avoir l'air de chercher la petite bête, mais... à quoi ça sert ? Il y en a beaucoup, des cas pratiques, comme celui d'Imoen Romance ? D'ailleurs j'ignore tout du problème d'Imoen Romance, que se passe-t-il avec ce mod ?

Quant à son utilisation principale, ce n'est pas ce que fait déjà Translation Retriever, avec le pourcentage de tolérance et tout et tout ?

Ne vois aucune hostilité dans mon message, je débarque complet. Au contraire, je soutiens tout effort communautaire, quel qu'il soit. Je me demande simplement ce que fait cet outil que d'autres ne font pas déjà.

jazira a écrit : ↑mer. 22 mars 2023, 02:40
Je veux pas avoir l'air de chercher la petite bête, mais... à quoi ça sert ? Il y en a beaucoup, des cas pratiques, comme celui d'Imoen Romance ? D'ailleurs j'ignore tout du problème d'Imoen Romance, que se passe-t-il avec ce mod ?

Quant à son utilisation principale, ce n'est pas ce que fait déjà Translation Retriever, avec le pourcentage de tolérance et tout et tout ?

Ne vois aucune hostilité dans mon message, je débarque complet. Au contraire, je soutiens tout effort communautaire, quel qu'il soit. Je me demande simplement ce que fait cet outil que d'autres ne font pas déjà.

Je te rassure tout de suite, je ne le prends pas mal du tout, c'est vrai que je n'ai rien expliqué du contexte de mes motivations à développer cet outil.
De base, je voulais m'attaquer à la traduction du mod Imoen Romance (tout bêtement), lorsque, après avoir discuté avec @Spartan117 puis avec @JohnBob, j'ai appris que les dialogues de l'ancienne version avaient été en grande partie repris mais réécrits dans la nouvelle version.
Là dessus, je me suis mis à coder mon programme mais le strict minimum pour récupérer les correspondances, etc. (sans exportation, sans gestion de l'encodage, ...)

Puis John m'a signalé que ce programme pourrait lui être profitable à lui aussi pour d'autres projets de traduction, du coup ça m'a motivé à l'améliorer histoire de lui refiler quelque chose de plus abouti et compréhenssible...
Puis au fur et a mesure des améliorations, on s'est dit que ça pourrait intéresser d'autres personnes.
Donc pour résumer, de base, mon but était juste de répondre à mes attentes spécifiques.



Alors maintenant que tu mentionnes "Translation Retriever", effectivement, John l'a évoqué aussi au tout début mais je n'y ait pas preté attention, et du coup, j'étais pas au courant de ses capacités.. je m'y suis pas intéressé plus que ça, disons.

Depuis (ce matin quoi), j'ai un peu regardé son guide/manuel et voila ce que j'en déduis.

Alors c'est que mon avis, donc sans avoir testé réellement le programme , à vous de me corriger sur ce que j'aurais loupé


Ce qu'il me semble être en plus dans ATC :

- Aperçu du résultat directement dans le programme, avant même d'exporter quoique ce soit, ce qui apporte un confort d'utilisation il me semble
- Affichage groupé de chaque dialogue original, sa correspondance probable et la traduction de celle-ci
- Le jeu de couleurs pour voir d'un coup d'oeil les correspondances les plus fiables et inversément, les moins fiables.
- Une interface plus moderne, bon là, c'est aussi une question de goûts et d'habitudes
- Une gestion des encodages manuelle ou automatique qui permet aussi de convertir tout un dossier de traduction en quelques secondes.
- Pas mal de configurations d'exportation, "clean" vs "original", le rapport Diff/Marge en commentaire,..
- Une exportation en HTML pour partager le résultat entre traducteurs


Ce qu'il me semble être probablement en plus, mais où je me trompe possiblement :

- L'utilisation d'un algorithme ("distance de Levenshtein") qui permet de débusquer les correspondances les plus complexes



Alors bien sur, mon manque d'expérience dans la traduction de mods m'empêche d'avoir une idée précise de ce qui sera réellement utile de ce qui ne le sera pas, c'est indéniable.
J'ai développé ces fonctionnalités avec l'idée que je me fais de ce qui est appréciable en terme d'automatisation.


Ensuite pour répondre à ta question, je ne sais pas combien de mods on la même problématique que Imoen Romance, c'est à dire une reprise basée sur le projet original abandonné.
Sans doute que c'est pas courant. Mais là, le mieux c'est de voir avec John qui lui semble avoir déjà repéré d'autres applications pratiques.

Ensuite, d'après moi, toute mise à jour d'un mod peut potentiellement faire des modifications sur ses dialogues des versions antérieur, et dès ce moment là, je pense que mon programme peut aider à visualiser ces différences.

Bref, disons qu'il serait bon de faire différents tests pour vérifier les cas où le programme apporte un réel atout et là où il n'en apporte pas particulièrement.

Nitrick a écrit : ↑mer. 22 mars 2023, 10:39 Ensuite pour répondre à ta question, je ne sais pas combien de mods on la même problématique que Imoen Romance, c'est à dire une reprise basée sur le projet original abandonné.

Au moins le mod Fade a ce problème, la partie SOA possède exactement les mêmes textes, mais avec des numéros différents. Cela prendrait des heures voir des jours pour remettre le tout dans l'ordre manuellement, tandis qu'avec l'outil, c'est l'affaire de quelques minutes

Bonjour !


Pour les applications immédiates de ATC :

- Imoen Romance (Pas le mod le plus simple au final, de nombreuses modifications rendent les correspondances difficile à trouver)

- Fade (Selphira l'a déjà mentionné, je n'ai pas testé avec translation retriever mais ATC retrouve la majorité des textes présent dans l'ancienne version)

- IWD2-EET (Adapter quasiment tout le fichier sur les Items de IWD2, comme mentionné ici translation retriever est chatouilleux)

- Tortured Soul, à voir ce qu'en pense le marquis mais je crois qu'il permettra d'adapter rapidement sa traduction aux deux mods adaptés aux EE

-

Nitrick a écrit : ↑mer. 22 mars 2023, 10:39 Ensuite, d'après moi, toute mise à jour d'un mod peut potentiellement faire des modifications sur ses dialogues des versions antérieur, et dès ce moment là, je pense que mon programme peut aider à visualiser ces différences.

- Cela peut être aussi utile pour repérer les lignes ajoutés lors de mise à jour.

En exportant les fichiers à la fois avec le mode original (qui place toutes les correspondances et laisse les lignes non traduite en anglais) et le mode clean (qui place toutes les correspondances et affiche les lignes non traduite vide sous cette forme @xx = ~~) on peut comparer l'ensemble des fichiers avec le logiciel winmerge et rapidement retrouver les lignes ajoutées.

---

Translation Retriever est excellent, mais a montré certaines limites comme le fait qu'il n'utilise qu'un seul fichier comme base de travail ou qu'il n'accepte pas les lignes non conventionnelles (ex: missing equal sign after string id) ou les " non fermé...

En ce qui concerne la fiabilité des correspondances, c'est l’expérimentation qui nous diras si l'un est plus performant que l'autre sur ce point...

---

JohnBob a écrit : ↑mar. 21 mars 2023, 02:39 Salut Le Marquis, justement je me disais que ce serait intéressant de tester ATC avec Tortured Soul, afin de voir si ta traduction ne pourrait pas être facilement et rapidement adaptée aux versions EE...

Ca ne va pas être simple
Je n'ai traduit qu'une partie du mod (celle que personne n'avait terminée), c'est Graoumf qui a tous les fichiers pour la relecture. Mais il ne répond plus depuis plusieurs mois, j'espère qu'il va bien... Je vais retenter de le contacter dans quelques jours quand j'aurai moins de boulot.
S'il ne répond vraiment plus, il faudra voir si on peut reconstituer tout le mod entre les fichiers que j'ai et ceux qui sont dans la bibliothèque des d'Oghms. Mais comme je ne connait pas bien ce mod particulièrement tordu, faudra voir ce que je peux faire...
Donc le test ATC, ce n'est pas pour tout de suite...

Ok, merci pour les explications !

Je vais voir si c'est compliqué de réunir les fichiers présents dans la bibliothèque en quelque chose de concret, si c'est faisable je te ferais signe...

En ce qui concerne le test avec ATC, c'est plus ou moins déjà fait mais seulement avec les fichiers en anglais, le logiciel retrouve la plupart des textes et les replace pour la version TorturedSoulLite et son binôme TS_Sime...

Donc une fois le français prêt pur la version BP ce sera surement très simple de le transférer automatiquement sur les versions EE.



PS : J'espère aussi que Graoumf se porte bien.

Nitrick a écrit : ↑mer. 22 mars 2023, 10:39
Je te rassure tout de suite, je ne le prends pas mal du tout, c'est vrai que je n'ai rien expliqué du contexte de mes motivations à développer cet outil...

Merci pour ces explications, oui c'est plus clair maintenant.

Bon courage à toi.

Le Marquis a écrit : ↑mer. 22 mars 2023, 20:14 Ca ne va pas être simple
Je n'ai traduit qu'une partie du mod (celle que personne n'avait terminée), c'est Graoumf qui a tous les fichiers pour la relecture. Mais il ne répond plus depuis plusieurs mois, j'espère qu'il va bien... Je vais retenter de le contacter dans quelques jours quand j'aurai moins de boulot.
S'il ne répond vraiment plus, il faudra voir si on peut reconstituer tout le mod entre les fichiers que j'ai et ceux qui sont dans la bibliothèque des d'Oghms. Mais comme je ne connait pas bien ce mod particulièrement tordu, faudra voir ce que je peux faire...
Donc le test ATC, ce n'est pas pour tout de suite...

Les dernières nouvelles que j'ai de Graoumf datent de septembre 2022, as-tu essayé sur Discord ? Si je ne dis pas de bêtises je le vois régulièrement connecté là.