Texts of the HAS Publications

# Textes des Publications de la HAS ## À propos de cette documentation La documentation de ce jeu de données suit le concept de _fiche technique pour les jeux de données_ (ou *Datasheets for Datasets*) proposé par [Gebru et al.](https://arxiv.org/abs/1803.09010) Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta [ici](https://teamopendata.org/t/traduction-et-adaptation-du-modele-de-description-des-donnees-datasheet-for-datasets/1400). Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique. ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Les métadonnées des publications de la HAS sont disponibles [ici](https://www.data.gouv.fr/fr/datasets/627152fbe5cc39edfc691d2c/). Chacune de ces publications contient des ressources liées. Dans le but de faciliter la réutilisation des connaissances produites par la HAS, ce dataset propose le fichier PDF ainsi qu'une version semi-structure du texte contenu à l'intérieur pour chaque ressource, pour chaque publication HAS. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Faciliter la découverte des informations médicales, suivre l'évolution des connaissances en santé… **Quelles sont les utilisations trompeuses du jeu de données ?** Nous incluons tout l'historique des publications de la HAS disponible sur [le site web](www.has-sante.fr). Les informations incluses dans les documents peuvent ne pas être à jour. **Qui a financé ou soutenu la création du jeu de données ?** La HAS. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les textes bruts (non structurés (PDF) et semi-structurés (XML)) des documents rédigés par les agents de la HAS. Deux types de fichiers semi-structurés sont mis à disposition : 1. Text : fichier XML contenant le texte brut par page, 2. Annotated: fichier XML contenant le mis en forme (en utilisant de [balises type HTML](https://accessible-pdf.info/basics/general/overview-of-the-pdf-tags)) ainsi que le texte. Ce type de fichier existe **que** pour les fichiers PDF qui suivent le standard PDF/A ou [PDF/UA](https://en.wikipedia.org/wiki/PDF/UA).   **Dispose-t-on d’un schéma décrivant les variables du jeu de données ?** Pas pour l'instant. **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Oui, ce dataset est exploitable en utilisant le dataset avec [les métadonnées des publications de la HAS](https://www.data.gouv.fr/fr/datasets/627152fbe5cc39edfc691d2c/). En outre, les documents peuvent contenir des informations relatives à des ressources externes.   **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Le dataset des métadonnées des publications de la HAS est assuré par les agents de la HAS. Pour le reste, cela dépend de chaque ressource externe. ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les publications sont rédigées par des agents de la HAS et puis sont versées automatiquement à partir d'un système d'information interne. Certaines publications sont ajoutées manuellement. La collecte se fait par des outils informatiques. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Des agents de la HAS. **Quelle a été la période de collecte des données ?** Le dataset contient les textes des publications créées à partir de juin 1999. **Les données ont-elles été collectées directement ou inférées à partir d’autres données ?** Collectées directement. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Oui. Nous incluions que les types des publications liées à la production des experts de la HAS. Nous écartons les publications liées au système de gestion de documents du site web. Les publications incluses/exclues sont les suivantes : | **Types inclus** | **Types exclus** | |-----------------------------------------------------------------|----------------------------------------------| | Avis sur les Médicaments | Médecin accrédité | | Avis sur les dispositifs médicaux et autres produits de santé | Avis et décisions de la HAS | | Évaluation des technologies de santé | Article HAS | | Recommandation de bonne pratique | Médicament | | Outil d'amélioration des pratiques professionnelles | Résultat de certification des établissements | | Guide maladie chronique | Événement de Calendrier | | Guide méthodologique | Lien externe | | Recommandation en santé publique | Article Webzine | | Études et Rapports | Communiqué de presse | | Guide usagers | Synthèse d'avis et Fiche bon usage | | Recommandation vaccinale | Newsletter HAS | | | Sous-éléments | | | Glossaire - Terme | | | Avis sur les Actes | | | Brève | | | Vos interlocuteurs | | | Faq - Entrée | | | Sondage | | | Étude d'évaluation économique | **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** 1. La transformation PDF vers texte peut introduire des errerurs ortographiques voir rendre illisible le contenu. 2. Pour la majorité des fichiers semi-structurés (XML), nous perdons le concept de table ainsi que les images. 3. La creation de fichiers XML *annotated* depend de l'annotation fait par le createur original du fichier PDF. Par defaut, ce balisage se fait automatiquement (par exemple, par Office 365 lors de la conversion `docx` vers `pdf`). Cette démarche peut contenir des erreurs. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Aucun prétraitement est fait aux fichiers PDF. **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Oui, les fichiers PDF sont diffusés dans ce dataset. **L’outil de prétraitement des données est-il disponible ?** Oui, dans [le repo](https://gitlab.com/has-sante/public/alpha/has-text-extract/) correspondant à ce dataset. ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)?** Oui, sur cette page data.gouv.fr. **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** La [Mission Data de la HAS](mailto:[email protected]). **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Oui. Produit par les services HAS. Éditorialisé aussi par les services HAS et le service communication. Diffusé par le service informatique et la Mission Data de la HAS. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Non. **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** À travers de cette page. **Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ?** Oui, en nous contactant à travers des commentaires de cette page ou directement par e-mail. ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Il ne concerne pas des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non à notre connaissance. **Ces données sont-elles conformes au RGPD ?** Oui. **Les données peut-elles avantager ou désavantager des groupes sociaux ?** Non à notre connaissance. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non à notre connaissance # Organisation de fichiers Douze fichiers ZIP sont mis à disposition : * Les premiers 12 fichiers contiennent, **pour chaque publication et pour chacune de ses resources liées**, le fichier PDF ainsi que le fichier XML *text* et *annotated*. Ce dernier existe seulement si le fichier PDF traité suit le standard PDF/UA (*tagged PDF*). Par souci de taille, le fichier zip des Avis sur les Médicaments est séparé en deux parties. * Le dernier fichier `TextesPublicationsHAS_XML.zip` contient **que** les fichiers semi-structurés XML **pour toutes les thematiques**. ## Arborescence des fichiers Tous les fichiers de ce dataset suivent la hiérarchie de fichiers décrite ci-dessous : ```shell ├── AVISMedicament # Thématique de la publication │   ├── p_3201790 # Id de la publication | | ├── p_3201789 # Id de la ressource | | | ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742.pdf | | | ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742_tagged.xml # Fichier XML tagged avec la date de publication comme préfixe | | | ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742_text.xml # Fichier XML text avec la date de publication comme préfixe │   ├── c_1001256 │   ├── c_1001258 │   ├── c_1001261 | ├── ... ├── AVISMedicament | ├── ... ├── AVISProduitsEtPrestations | ├── ... ├── EtudeEtEnquete | ├── ... ├── EvaluationDesPratiques | ├── ... ├── EvaluationDesProgrammesEtPolitiq | ├── ... ├── EvaluationDesTechnologiesDeSante | ├── ... ├── GuideMedecinALD | ├── ... ├── GuideMethodologique | ├── ... ├── GuidePatient | ├── ... ├── RecommandationsProfessionnelles | ├── ... ├── RecommandationVaccinale | ├── ... ```