Tests des 10 IA sur une lecture de documents

Tests des 10 IA sur une lecture de documents de généalogie :

Cette  recherche de transcription par l'IA vous sera utile. N'hésitez pas à me solliciter si vous avez d'autres questions.

Figure  Les IA concernées.

Figure  Les LLM Ollama.

Je vais utiliser 9 IA pour le même test et un LLM sur mon PC puis nous analyserons ces résultats.

Voici l’image que je vais utiliser :

Fiche Etat Civile.

Source de l'image.

Je vais analyser les différents tests d'IA sur la transcription de l'acte de décès de Michel Giraudi de 1861 et vous proposer un classement basé sur la précision et la qualité des transcriptions.

Analyse des performances par ordre décroissant :

L'auteur a testé 10 différents systèmes d'IA sur la transcription d'un acte de décès de Michel Giraudi datant de 1861. Voici les principaux résultats par ordre de performance :

Claude 3.5 Sonnet (version Drive) - Meilleure performance

·       Transcription très précise et complète

·       Identification correcte de tous les noms propres

·       Notes de transcription détaillées

·       Format structuré et clair

Gemini 2.0

·       Bonne précision dans la transcription

·       Récapitulatif bien structuré

·       Attention aux détails des noms et dates

·       Quelques petites imprécisions dans les noms

Claude 3.5 Sonnet (première version)

·       Transcription correcte mais moins détaillée

·       Quelques erreurs dans les noms propres

·       Bonne structure générale

Gemini 1.5

·       Transcription détaillée

·       Analyse et observations bien structurées

·       Quelques erreurs dans les noms et l'âge

ChatGPT 4.0

·       Erreurs importantes dans les lieux (Tahiti au lieu de La Turbie)

·       Structure correcte mais contenu peu fiable

·       Plusieurs inexactitudes dans les noms

ChatGPT (gratuit)

·       Erreurs de lieu (Lathuile au lieu de La Turbie)

·       Plusieurs inexactitudes dans les noms et dates

·       Structure correcte mais contenu peu fiable

Mistral

·       Localisation erronée (Porto Vecchio)

·       Nombreuses erreurs dans les noms

·       Contenu peu fiable

Copilot (gratuit)

·       Erreurs majeures de lieu (Tahiti)

·       Nombreuses inexactitudes dans les noms et dates

·       Contenu peu fiable

Grok

·       Erreurs importantes de lieu (Sartène)

·       Inventions de noms et de situations

·       Contenu très peu fiable

Perplexity

·       N'a pas pu traiter l'image

·       A fourni uniquement des conseils méthodologiques

Transkribus

·       Nombreuses erreurs de transcription

·       Problèmes de formatage

·       Qualité médiocre

Google Docs

·       Nombreuses erreurs de transcription

·       Problèmes de formatage et de ponctuation

·       Qualité très médiocre

 

Tableau comparatif des performances des IA commentaires :

Ce tableau comparatif montre clairement que les modèles les plus récents et les plus avancés (Claude 3.5 Sonnet et Gemini 2.0) ont fourni les meilleures performances pour la transcription de documents généalogiques. Les modèles gratuits et les outils de reconnaissance optique de caractères traditionnels ont montré des limitations importantes pour ce type de tâche.

Les principales différences de performance se situent dans :

La précision de la lecture des noms propres

L'exactitude des dates et des lieux

La capacité à maintenir la cohérence du contexte historique

La qualité de la structure et de l'organisation des informations

Il est intéressant de noter que même les meilleurs modèles peuvent faire quelques erreurs, ce qui souligne l'importance de la vérification humaine pour les recherches généalogiques.

Tableau comparatif des performances des IA :

IA	Précision	Points forts	Points faibles	Note
Claude 3.5 Sonnet (Drive)	Excellente	Transcription précise, identification correcte des noms, notes détaillées	Aucun majeur	5/5
Gemini 2.0	Très bonne	Transcription détaillée, bon récapitulatif	Quelques imprécisions dans les noms	4.5/5
Claude 3.5 Sonnet	Bonne	Structure claire, bonne identification	Quelques erreurs de noms	4/5
Gemini 1.5	Assez bonne	Analyse détaillée, bonne structure	Erreurs dans les noms et l'âge	3.5/5
ChatGPT 4.0	Moyenne	Bonne structure	Erreurs de lieu, noms inexacts	3/5
ChatGPT (gratuit)	Faible	Structure correcte	Nombreuses erreurs de lieu et noms	2/5
Mistral	Très faible	Format lisible	Erreurs majeures de contenu	1.5/5
Copilot	Très faible	Format structuré	Erreurs majeures de lieu et contenu	1/5
Grok	Médiocre	Tentative de structure	Contenu largement erroné	0.5/5
Perplexity.ai	Non évaluable	Conseils méthodologiques	Pas de traitement d'image	N/A
Transkribus.org	Médiocre	Tentative de transcription	Nombreuses erreurs, mauvais formatage	0.5/5
Google Docs	Médiocre	Tentative de transcription	Erreurs majeures, formatage incorrect	0.5/5

Mon prompt avec Claude 3.5 Sonnet :

"Pouvez-vous transcrire ce document manuscrit daté de 1861 qui semble être Acte de Décès de Michel Giraudi 1861 Portez une attention particulière aux noms propres et aux dates. Si certains mots sont illisibles, indiquez-le avec [illisible]. Voici l'image : [DecesMichelGiraudi18610428]"

Voici la transcription de l'acte de décès de Michel Giraudi daté du 29 avril 1861 :

L'AN mil huit cent soixante et un, et le vingt neuf avril à neuf heures du matin, Nous, Michel Rossetto, chevalier de l'ordre Royal de maurice [illisible] Maire de la Commune de [illisible], soussigné, faisant les fonctions d'Officier Public de l'Etat-Civil,

avons rédigé l'acte de décès de Giraudi michel cultivateur époux de [illisible] françoise sans profession, fils [illisible] [illisible] de [illisible] Antoine et de feue Rova Catherine, [illisible] [illisible] domiciliés à la Turbie Département des alpes Maritimes. [illisible] âgé de quatre vingt deux ans né à la Turbie

Giraud

michel

département des alpes Maritimes est décédé le jour d'hier vingt huit avril à Sept heures du Soir dans son domicile.

sur la déclaration à nous faite par le sieur girandi michel, cultivateur âgé de trente Sept ans, domicilié à la Turbie qui a dit avoir vu le défunt et par le sieur flandrin, augustin distributeur de lettres agé de quarante Cinq ans, domicilié à la Turbie qui a dit aussi avoir vu le défunt Après que lecture du présent a été donnée par nous aux susnommés, nous avons signé. [illisible] premier déclarant fils du décédé, requis de Signer

déclaré [illisible] le Savoir

[Signature illisible]

[Signature illisible]

Le Maire

En résumé, cet acte de décès concerne :

Michel Giraudi, cultivateur, époux de Françoise [nom illisible], décédé le 28 avril 1861 à 82 ans dans son domicile à La Turbie

Fils d'Antoine Giraudi et de feue Catherine Rova

Décès déclaré par son fils Michel Giraudi, 37 ans, cultivateur à La Turbie

Et par Augustin Flandrin, 45 ans, distributeur de lettres à La Turbie

Acte rédigé par Michel Rossetto, Maire de La Turbie le 29 avril 1861

 

Certains mots et noms propres sont difficiles à déchiffrer avec certitude dans le document manuscrit. J'ai indiqué [illisible] lorsque je n'étais pas sûr.

 

Gemini 2.0 :

2.0 Flash expérimental. Peut ne pas fonctionner comme prévu.

Voici la transcription de l'acte de décès de Michel Giraudi, en essayant de rendre la lecture la plus fidèle possible. Les passages difficiles à déchiffrer sont indiqués par [illisible].

Acte de décès de Michel Giraudi

L'an mil huit cent soixante et un, et le vingt neuf avril, dix heures du matin, Nous, Michel Rossetto, chevalier de l'ordre Royal de [illisible] Maire de la commune de Turbie, soussigné, faisant les fonctions d'Officier Public de l'État-Civil, avons rédigé l'acte de décès de Giraudi Michel, cultivateur, époux de Gustant Françoise, sans profession, fils de feu Giraudi Antoine et de feue Rosa Catherine, cultivateurs, domicilié à la Turbie, département des Alpes-Maritimes, âgé de quatre-vingt-neuf ans, né à la Turbie, département des Alpes-Maritimes, est décédé le jour d'hier vingt-huit avril, à sept heures du soir, dans son domicile.

Sur la déclaration à nous faite par le sieur Giraudi Michel, cultivateur, âgé de trente-sept ans, domicilié à la Turbie, qui a dit avoir vu le défunt et par le sieur Flandrin Augustin, distributeur de lettres, âgé de quarante-cinq ans, domicilié à la Turbie, qui a dit aussi avoir vu le défunt.

Après que lecture du présent a été donnée par nous aux susnommés, nous avons signé. Le premier déclarant, fils du décédé, requis de signer a déclaré ne savoir.

[Signature du Maire et autres professions]

Récapitulatif des informations importantes :

• Nom du défunt : Michel Giraudi
• Date du décès : 28 avril 1861, à 19h00
• Lieu du décès : Turbie, Alpes-Maritimes
• Âge au décès : 89 ans
• Profession : Cultivateur
• Épouse : Françoise Gustant
• Père : Antoine Giraudi (décédé)
• Mère : Rosa Catherine (décédée)
• Déclarants :
  • Michel Giraudi (fils, cultivateur, 37 ans)
  • Augustin Flandrin (distributeur de lettres, 45 ans)
• Officier d'état civil : Michel Rossetto, Maire de Turbie

J'espère que cette transcription vous sera utile. N'hésitez pas à me solliciter si vous avez d'autres questions.

Utilisation du Drive de Google et lecture avec Google Docs :

Utilisation du Drive de Google et lecture avec Google Docs.

Résultat avec Google :

L'AN mil huit cent soixante et un, et le vingt neuf-arril – Dx heures 2.10 du matin, Nous, Michel Rossetto, chevalier de l'ordre Royal de 11 maurice tazare acte de décès Maire de la commune de harbie, soussigné, faisant les fonctions d'Officier Public Giraud de l'Etat-Civil, avons rédigé l'acte de décès de Giraudi michel michel cultivateur époux de gustant Prançoise San, profession, fils defer ifoux de Giraud; Antoine et de feue Roux Catherine, rivunts putte dateurs Gustant Domiciliés à la Flurbie Département des alpes Maritimes. franwise agé de quatre vingtheux ans né à la turbie

département de alpes Maritimes,

est décédé de jour d'hier singt huit avril in Sept heures du Boir dans son domiciles..

sur la déclaration à nous faite par le sieur gitandi michel, cultivateur. agé de trente Vept ans, domicilié à la turbie,

qui a dit

avoir vu le défunt et par le sieur flandrin augustin Distributeur de lettres agé de quarante (ing ans, domicilié à la Turbie

aussi avoir vu le défunt

qui a dit

Après que lecture du présent a été donnée par nous aux susnommés, nous avons

signé. A premier déclarant fil, du décédé, requis de Signer a déclaré ne le survie

Blandon

Tha Mpaire

Le LLM Phi-4 sur mon PC

Analyse des résultats dans LLM Phi-4

Voici un résumé du texte analysant les performances des différents outils d'IA pour transcrire l'acte de décès de Michel Giraudi (1861) :

Classement des Performances :

Claude 3.5 Sonnet (Drive) : La transcription la plus précise et complète avec une identification correcte des noms propres, des notes détaillées et un format clair.

Gemini 2.0 : Transcription bien faite avec quelques petites imprécisions dans les noms, mais structurée de manière efficace.

Claude 3.5 Sonnet (première version) : Très bonne structure générale malgré des erreurs mineures dans les noms propres.

Gemini 1.5 : Contient une analyse détaillée avec quelques erreurs sur les noms et l'âge.

ChatGPT 4.0 : Bien structuré mais avec des erreurs significatives, notamment de localisation (Tahiti au lieu de La Turbie).

ChatGPT (gratuit) : Souffre également d'erreurs locales importantes et d'inexactitudes dans les noms.

Mistral : Manque de fiabilité avec des erreurs majeures de contenu, notamment une localisation incorrecte.

Copilot (gratuit) : Comporte de graves inexactitudes sur les lieux et les détails personnels.

Grok : Transcription marquée par des inventions dans les noms et les situations.

Perplexity.ai : Ne traite pas l'image, fournit seulement des conseils méthodologiques sans performance mesurable.

Transkribus.org et Google Docs : Présentent de nombreuses erreurs et problèmes d'orthographe et de formatage, rendant la qualité générale très médiocre.

Tableau Comparatif de l'Efficacité des IA :

Les meilleurs modèles (Claude 3.5 Sonnet et Gemini 2.0) excellents dans la précision de lecture, la structure et l'identification correcte.

Les freins principaux pour les autres incluent des erreurs dans le nom, lieux incorrects, et problèmes d’organisation du contenu.

Même le meilleur modèle reste sujet à vérification humaine en raison de quelques erreurs.

Conclusions :

Les modèles récents tels que Claude 3.5 Sonnet et Gemini 2.0 surpassent largement les autres par leur précision, soulignant l'importance d’utiliser des IA avancées tout en gardant à l’esprit la nécessité de contrôles humains pour garantir l’exactitude dans les recherches généalogiques. Les outils gratuits et traditionnels de reconnaissance optique ont des lacunes importantes dans ce contexte spécifique.

Les conclusions principales montrent que :

Les modèles les plus récents et avancés (Claude 3.5 Sonnet et Gemini 2.0) donnent les meilleurs résultats. Les outils gratuits et traditionnels de reconnaissance optique ont des limitations importantes

Une vérification humaine reste nécessaire, même avec les meilleurs modèles. La précision varie particulièrement sur les noms propres, les dates, les lieux et la cohérence du contexte historique

Erol GIRAUDY

https://www.erolgiraudy.eu

https://www.ugaia.eu/