R1: Onderzoek AI Vertaling Tools
Inleiding
Dit onderzoek is bedoeld om duidelijkheid te krijgen in welke AI tools allemaal beschikbaar zijn voor het vertalen van teksten, en welke het meest passend is voor het project. Het doel van het project is om een tool te ontwikkelen die vertalingen van teksten kan maken met behulp van een AI tool.
Het project hangt erg af van welke AI tool er gebruikt wordt, het aantal ondersteunde talen, de kwaliteit van de vertalingen, de snelheid van het vertaalproces, en de kosten van de tool zijn allen van belang. Daarom is het belangrijk om een goed onderzoek te doen naar welke AI tools er allemaal beschikbaar zijn, en welke het meest passend is voor het project.
De hoofdvraag voor dit onderzoek is als volgt:
Welke AI tools zijn er beschikbaar voor het vertalen van teksten, en welke is het meest passend voor het project?
De deelvragen voor dit onderzoek zijn als volgt:
- Welke AI tools zijn er beschikbaar voor het vertalen van teksten?
- Wat zijn de voor- en nadelen van de verschillende AI tools?
- Welke AI tool(s) presteert/presteren het beste?
Zie het Plan van Aanpak voor meer informatie over de casus.
1. Methoden
Om de deelvragen te beantwoorden is er een literatuuronderzoek gedaan naar de verschillende AI tools die beschikbaar zijn voor het vertalen van teksten. Er is gekeken naar de voor- en nadelen van de verschillende AI tools, en er is een vergelijking gemaakt tussen de verschillende AI tools. Vervolgens is er gekeken welke AI tool het meest passend is voor het project.
Er is ook een spike uitgevoerd om de snelheid en kwaliteit van de vertalingen te testen. De spikes zijn uitgevoerd op de 4 meest passende AI tools, welke 5 dit zijn is bepaald aan de hand van de resultaten van het literatuuronderzoek.
De resultaten van het onderzoek zijn verwerkt in de volgende sectie.
2. Resultaten
Tip: Afbeeldingen vergroten
Afbeeldingen binnen de tabellen kunnen vergroot worden door erop te klikken.
2.1. Literatuuronderzoek
Het volgende bestand is gebruikt om de prijzen van de verschillende AI tools te vergelijken.
Voorbeeld vertalingen
Er wordt enkel gekeken naar de 'waardes', bijvoorbeeld:
bij "accept": "Accepteren" (zie gemarkeerde regel 2) gaat het enkel om de waarde "Accepteren" en niet om de key "accept". De key is enkel ter referentie.
Bij "grams_one": "{{count}} gram" gaat het om de waarde "gram" en niet om de waarde "{{count}} gram". De placeholder hoeft niet vertaald te worden (zie gemarkeerde regel 67).
In dit bestand zitten 287 woorden, die bestaan uit 2.510 karakters.
Om een realistische scenario te schetsen wordt het aantal woorden en karakters vermenigvuldigd met 15. Omdat in een project meerdere vertalingsbestanden (ook wel namespaces) voorkomen.
Dit betekent dat er 4.305 woorden en 37.650 karakters vertaald moeten worden.
| voorbeeld_vertalingen.json | |
|---|---|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 | |
Voor de kostenberekening van het voorbeeldbestand bieden sommige AI tools alleen prijzen in dollars aan. Om de prijzen in euro's te berekenen is de wisselkoers van 1 dollar naar euro gebruikt. De wisselkoers is vastgesteld op 0,90. Dit betekent dat 1 dollar gelijk staat aan 0,90 euro. Deze wisselkoers is bepaald op 13 september 2024.
| AI Tool | Heeft een API | Ondersteunde talen | Kosten (maandelijks) | Kosten (voorbeeldbestand vertalingen) | Opmerkingen |
|---|---|---|---|---|---|
| DeepL | Ja | 33 | €4.99 per maand €0.00002 per karakter. €20.00 per 1.000.000 karakters, gratis API 500.000 karakters per maand. | €0,75 |
|
| Lokalise | Ja | 34 | €230 per maand, 500.000 karakters limiet, €0,00046 per karakter | €17,32 |
Berekening is op basis van de maandelijkse kosten. Extra karakters moeten jaarlijks als add-on bijgekocht worden, dit is $288 (€259,2) per jaar. In het geval dat het karakter limiet bereikt wordt kunnen de vertalingen niet automatisch uitgevoerd worden tot de volgende maand. |
| Lilt | Ja | 55 | €0.10 per woord op enterprise, abonnement op aanvraag | €430,50 |
Geen makkelijke manier om te achterhalen of de API extra kost, en of er maandelijkse kosten gelden. |
| Taia | Ja, op aanvraag | 97 | €0.002 per woord | €8,61 |
Je betaalt alleen voor woorden die nog niet vertaald zijn en woorden worden gegroepeerd vertaald. |
| ChatGPT | Ja | ? | GPT-4o low resolution 1.000 input tokens $0.00500 1.000 output tokens $0.01500 |
Tokenizer 871 tokens * 15 = 13.065 tokens. input tokens: $0,07 output tokens: $0,20 €0,24 |
Bevat geen specifieke lijst van ondersteunde talen, mogelijk niet accuraat in vertalingen, verder ook onduidelijk wat het formaat van de response zal zijn. |
| Gemini | Ja | ? | Gemini 1.0 Pro input $0.0005 per 1.000 tokens output $0.0015 per 1.000 tokens |
744 tokens * 15 = 11.160 tokens input tokens: $0,01 output tokens: $0,02 €0,03 |
Bevat geen specifieke lijst van ondersteunde talen, mogelijk niet accuraat in vertalingen, verder ook onduidelijk wat het formaat van de response zal zijn. Google heeft een specifieke translate tool die voor onze use case bedoeld is. |
| TextUnited | Ja | 160 | €210 per maand €0.0014 per "nieuw" woord. ![]() |
€6,03 |
Maakt gebruik van "new words" 150k in abonnement, met extra woorden kunnen gekocht worden: ![]() |
| Google Cloud Translate | Ja | 135 | Eerste 500.000 karakters per maand gratis, daarna $20 per 1.000.000 karakters. $0,02 per 1.000 karakters Prijzen |
(na de eerste 500.000 gratis karakters) €0,68 |
|
| Copy.ai | ? | ? | $432 per jaar onbeperkte woorden. | kan geen goede berekening maken zonder prijs per karakter of woord | Ondersteunde talen zijn niet terug te vinden. API implementatie werkt alleen via een "Workflow". |
| Azure AI Translator | Ja | 135 | S1 - Pay as you go €0.008985 per 1.000 karakters | €0,34 |
|
| Systran | Ja | 62 | €8.99 per maand €0,00899 per 1.000 karakters 1.000.000 karakters limiet (per maand). |
€0,34 |
Onbekend of er extra kosten zijn wanneer de 1.000.000 karakters bereikt zijn. |
| Amazon Translate | Ja | 75 | $15 (per 1.000.000 karakters) per maand $0.015 per 1.000 karakters Free tier is 2.000.000 karakters per maand |
€0,51 |
|
| Yandex Cloud Translate | Ja | 102 | €3.94 per 100.000 karakters €0.00394 per 1.000 karakters |
€0,15 |
Kosten worden berekend op basis van hoeveel karakters er verstuurd worden, hiervoor is dus geen limiet. |
| Reverso | Ja, op aanvraag | 26 | Premium €6,49 per maand (50.000 woorden per jaar) daarna €0.0020 per woord Professional €19,99 per maand (200.000 woorden per jaar) daarna €0.0015 per woord |
Premium (na 50.000 woorden) €8,61 Professional (na 200.000 woorden) €6,46 |
Prijzen voor de API zijn onbekend. |
Schäferhoff, N. (2024, April 26), Wolff, R. (2024, July 15)
Tabel 1: Overzicht van alle tools, met de kosten van de vertalingen op basis van het voorbeeldbestand. API ondersteuning, ondersteunde talen en andere relevante opmerkingen.
| AI Tool | (Officiële) Nuget package | Ondersteunde talen ophalen (API) | Context meegeven (API) | Suggesties/Alternatieven(API) | JSON bestand(en) ondersteuning (API) |
|---|---|---|---|---|---|
| DeepL | DeepL.net | ||||
| Lokalise | |||||
| Lilt | |||||
| Taia | |||||
| ChatGPT | OpenAI | ||||
| Gemini | |||||
| TextUnited | |||||
| Google Cloud Translate | Google.Cloud.Translate.V3 | ||||
| Copy.ai | |||||
| Azure AI Translator | Azure.AI.Translation.Text | ||||
| Systran | |||||
| Amazon Translate | AWSSDK.Translate | ||||
| Yandex Cloud Translate | Yandex.Translate (Deprecated) | ||||
| Reverso |
Tabel 2: Overzicht van features die API's tools wel en niet ondersteunen, en of er een officiële nuget package voor bestaat.
2.2. Spike
Voor de spikes worden een lijst van woorden in het Nederlands vertaald naar het:
- Engels
- Duits
- Frans
- Tsjechisch
Deze talen zijn gekozen omdat voor deze talen accurate vertalingen bestaan bij een project binnen Bluenotion. Zo kan er goed gemeten worden of de resultaten van de spikes overeenkomen met de resultaten van de vertalingen binnen het project.
Voor alle tools zijn de woorden uit de woordenlijst allemaal in een aanvraag vertaald. De snelheid van de vertalingen is gemeten in milliseconden. De gemiddelde snelheid is berekend door de snelheid van de vertalingen voor alle talen op te tellen en te delen door het aantal talen.
Spikes woordenlijst
| Nederlands |
Engels |
Duits |
Frans |
Tsjechisch |
|---|---|---|---|---|
| Lengte in centimeters | Length in centimeters | Länge in Zentimetern | Taille en centimètres | Výška v centimetrech |
| Wat is je streefgewicht? | What is your target weight? | Was ist Ihr Zielgewicht? | Quel est votre poids cible? | Jaká je vaše cílová váha? |
| Er is iets fout gegaan | An error occurred | Es ist ein Fehler aufgetreten | Une erreur s'est produite | Něco se pokazilo |
| Ik ga akkoord met de Algemene Voorwaarden en Privacy Policy van BenFit, dit is verplicht om door te gaan. | I agree to BenFit's Terms and Conditions and Privacy Policy, this is mandatory to proceed. | Ich stimme den Allgemeinen Geschäftsbedingungen und der Datenschutzrichtlinie von BenFit zu, dies ist erforderlich, um fortzufahren. | Je suis d'accord avec les conditions générales et la politique de confidentialité de BenFit, c'est obligatoire pour continuer. | Souhlasím s Všeobecnými podmínkami a Zásadami ochrany osobních údajů společnosti BenFit, toto je povinné pro pokračování. |
| Accepteren | Accept | Akzeptieren | Accepter | Přijmout |
| Boodschappenlijstje | Shopping list | Einkaufsliste | Liste de courses | Seznam nákupů |
| Werkboekopdrachten | Workbook assignments | Arbeitsbuchaufgaben | Devoirs du cahier d'exercices | Úkoly pracovního sešitu |
| Caloriechecker | Calorie checker | Kalorienrechner | Vérificateur de calories | Kontrola kalorií |
| Helpdesk | Helpdesk | Helpdesk | Service d'assistance | Zákaznická podpora |
| Fasenummer | Phase number | Phasennummer | Numéro de phase | Číslo fáze |
Excel bestand met resultaten van de spikes
correcte vertaling
vertaling is niet helemaal correct, synoniem of soortgelijk woord/zin
vertaling is incorrect
| AI Tool | Gemiddelde snelheid reactietijd (ms) | Resultaten (EN) |
Resultaten (DE) |
Resultaten (FR) |
Resultaten (CZ) |
Totaal |
|---|---|---|---|---|---|---|
| DeepL | 266,2 ms | 8 2 0 |
5 4 1 |
6 4 0 |
4 5 1 |
23 15 2 |
| Google Cloud Translate | 410,2 ms | 8 2 0 |
7 3 0 |
7 3 0 |
5 3 2 |
27 11 2 |
| Azure AI Translator | 350,2 ms | 8 2 0 |
5 4 1 |
4 6 0 |
5 4 1 |
22 16 2 |
| Amazon Translate | 235,8 ms | 7 2 1 |
5 3 2 |
6 1 3 |
5 3 2 |
23 9 8 |
Tabel 3: Overzicht van de resultaten van de spikes.
3. Analyse/Discussie
Uit het onderzoek blijkt dat de meeste AI tools een API hebben, met veel variatie in documentatie en functionaliteit. Sommige tools hebben een limiet op het aantal karakters dat vertaald kan worden, terwijl andere tools een limiet hebben op het aantal woorden. De kosten van de tools variëren over het algemeen niet erg veel, er zijn sommige uitschieters zoals Lilt en Lokalise die relatief duur zijn vergeleken met de rest. Het aantal ondersteunde talen verschilt ook erg veel per tool, alhoewel vrijwel alle tools de meeste Europese talen ondersteunen. Google Cloud Translate en Azure AI Translator ondersteunen beide 135 talen, terwijl DeepL 33 talen ondersteunt.
Het onderzoek naar de functionaliteit van de API's laat zien dat de meeste tools een API hebben die ondersteuning biedt voor het ophalen van ondersteunde talen. Slechts een paar tools bieden de mogelijkheid om JSON bestanden te vertalen. Alle tools hebben geen ondersteuning voor suggesties of alternatieven, en slechts één tool biedt de mogelijkheid om context mee te geven. De populairdere tools zoals DeepL, Google Cloud Translate, Azure AI Translator en Amazon Translate hebben allemaal een officiële Nuget package, dit maakt het makkelijker om de API te integreren in een project.
De spikes laten zien dat DeepL, Google Cloud Translate en Azure AI Translator allemaal dezelfde aantal fouten maken. Amazon Translate maakt meer fouten dan de andere tools, maar is wel de snelste van de vier. Google Cloud Translate heeft de langzaamste gemiddelde reactietijd, maar daar staat wel tegenover dat het de meeste exact correcte vertalingen heeft. DeepL staat direct achter Google Cloud Translate met de meeste exact correcte vertalingen, maar heeft wel een snellere gemiddelde reactietijd. DeepL geeft meer synoniemen of soortgelijke vertalingen, maar maakt niet meer fouten dan andere tools.
De kosten van DeepL en Google Cloud Translate zijn bijna hetzelfde, met de uitzondering dat DeepL een gratis API heeft met een limiet van 500.000 karakters per maand. Waarna je kan upgraden naar de Pro API voor €4,99 per maand en €20 per 1.000.000 karakters zijn. Google Cloud Translate heeft een soortgelijk model waarbij de eerste 500.000 karakters per maand altijd gratis zijn, en daarna betaal je $20 per 1.000.000 karakters. Je betaalt dus niet vast $20, maar alleen een deel van bedrag wat gelijk staat aan het aantal karakters dat je vertaalt. Azure AI Translator heeft een gratis versie tot aan 2.000.000 karakters per maand, als je hier boven komt betaal je €0,008985 per 1.000 karakters. Amazon Translate volgt een jaarlijks model waarbij je 2.000.000 karakters gratis ter beschikking hebt. Mocht dit niet genoeg zijn betaal je $15 per 1.000.000 karakters.
4. Conclusie
Tools zoals ChatGPT en Gemini zijn niet geschikt voor deze opdracht omdat ze geen specifieke lijst van ondersteunde talen hebben, mogelijk niet accuraat in vertalingen, verder ook onduidelijk wat het formaat van de response zal zijn. Copy.ai is ook niet geschikt voor deze opdracht omdat de API implementatie werkt alleen via een "Workflow". TextUnited is ook niet geschikt voor deze opdracht omdat het gebruik maakt van "new words" 150k in abonnement, met extra woorden kunnen gekocht worden per project. Tools zoals Lilt, Lokalise en Reverso vallen af, omdat ze geen flexibiliteit bieden in hun abonnement hebben of omdat de kosten te hoog zijn vergeleken met andere tools. Het is de bedoeling dat deze oplossing betaalbaar blijft voor de klanten en Bluenotion.
Systran en Taia hebben geen Nuget package, hierdoor wordt het implementeren van de back-end lastiger en minder gestructureerd. Yandex Cloud Translate heeft een Nuget package, maar deze is deprecated. Dit betekent dat de tool niet meer ondersteund wordt en er geen updates meer voor komen. Dit maakt het een minder goede keuze voor de implementatie van de back-end.
De 4 best passende modellen voor deze opdracht hebben weinig prijsverschil +- €0,30. Amazon Translate valt af door het aantal fouten in de spikes. DeepL is een goede optie, de reactietijd is snel en de vertalingen zijn redelijk accuraat. Echter ondersteunen Google Cloud Translate en Azure AI Translator veel meer talen dan DeepL. DeepL heeft wel één voordeel wat de andere twee niet hebben, namelijk een context parameter in de API om nauwkeurigere vertalingen te krijgen. De voorkeur voor dit project gaat uit naar Google Cloud Translate, omdat het de meeste exact correcte vertalingen heeft, een officiële Nuget package heeft en veel talen ondersteunt. De gemiddelde reactietijd is wel langzamer dan de andere tools, maar dit is geen groot probleem voor dit project. Mocht context een probleem zijn, dan blijft DeepL een goede tweede optie.
5. Bronnen
- Schäferhoff, N. (2024, April 26). 14 Best AI Translation Tools & Online Translators to Use Right Now - TranslatePress. TranslatePress. https://translatepress.com/best-ai-translation-tool/
- Wolff, R. (2024, July 15). 9 AI translation tools you need to try. Lokalise Blog. https://lokalise.com/blog/best-ai-translation-tools/


