Published in: Data Science

Analyse de données : les règles à suivre pour le traitement et le nettoyage des données

Author 10h11

Published on: 7 août 2020

[tatsu_section bg_color= « » bg_image= « » bg_repeat= « no-repeat » bg_attachment= ‘{« d »: »scroll »}’ bg_position= ‘{« d »: »top left »}’ bg_size= ‘{« d »: »cover »}’ bg_animation= « none » padding= ‘{« d »: »90px 0px 90px 0px »}’ margin= ‘{« d »: »0px 0px 0px 0px »}’ bg_video_mp4_src= « » bg_video_ogg_src= « » bg_video_webm_src= « » overlay_color= « » overlay_blend_mode= « none » section_height_type= « auto » custom_height= ‘{« d »: » »}’ vertical_align= « center » top_divider= « none » top_divider_zindex= « 9999 » bottom_divider_zindex= « 9999 » bottom_divider= « none » top_divider_height= ‘{« d »: »100″}’ top_divider_position= « above » bottom_divider_height= ‘{« d »: »100″}’ bottom_divider_position= « below » top_divider_color= « #ffffff » bottom_divider_color= « #ffffff » invert_top_divider= « 0 » invert_bottom_divider= « 0 » flip_top_divider= « 0 » flip_bottom_divider= « 0 » section_id= « » section_class= « » section_title= « » offset_value= « » full_screen_header_scheme= « background–dark » overflow= « » z_index= « 0 » hide_in= « 0 » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « » box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » key= « BJWbacMyBX »][tatsu_row full_width= « 0 » bg_color= « » border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » no_margin_bottom= « 0 » equal_height_columns= « 0 » gutter= « medium » column_spacing= « px » fullscreen_cols= « 0 » swap_cols= « 0 » padding= ‘{« d »: »0px 0px 0px 0px »}’ margin= ‘{« d »: »0px 0px »}’ row_id= « » row_class= « » box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » border_radius= « 0px » hide_in= « 0 » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » layout= « 1/1 » key= « Hyeb6qzkS7 »][tatsu_column bg_color= « » bg_image= « » bg_repeat= « no-repeat » bg_attachment= « scroll » bg_position= ‘{« d »: »top left »}’ bg_size= ‘{« d »: »cover »}’ padding= ‘{« d »: »0px 0px 0px 0px »}’ margin= ‘{« d »: » »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » box_shadow_custom= « 0px 0px 0px 0px rgba(0,0,0,0) » bg_video_mp4_src= « » bg_video_ogg_src= « » bg_video_webm_src= « » overlay_color= « » overlay_blend_mode= « none » animate_overlay= « none » link_overlay= « » vertical_align= « none » sticky= « 0 » offset= ‘{« d »: »0px 0px »}’ column_parallax= « 0 » column_width= ‘{« d »:100, »l »:100, »t »:100, »m »:100}’ column_mobile_spacing= « 0 » image_hover_effect= « none » column_hover_effect= « none » hover_box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » overflow= « » col_id= « » column_class= « » top_divider= « none » top_divider_height= ‘{« d »: »100″, »m »: »0″}’ top_divider_color= « #ffffff » flip_top_divider= « 0 » top_divider_zindex= « 9999 » bottom_divider= « none » bottom_divider_height= ‘{« d »: »100″, »m »: »0″}’ bottom_divider_color= « #ffffff » flip_bottom_divider= « 0 » bottom_divider_zindex= « 9999 » left_divider= « none » left_divider_width= ‘{« d »: »50″, »m »: »0″}’ left_divider_color= « #ffffff » invert_left_divider= « 0 » left_divider_zindex= « 9999 » right_divider= « none » right_divider_width= ‘{« d »: »50″, »m »: »0″}’ right_divider_color= « #ffffff » invert_right_divider= « 0 » right_divider_zindex= « 9999 » z_index= « 0 » hide_in= « 0 » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » layout= « 1/1 » key= « H1ZacGySQ »][tatsu_text bg_color= « » color= « » max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » text_typography= ‘{« d »: » »}’ hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « ysM8ksJfO »]

Contenus masquer

1 Ce que nous vous recommandons de faire avant d’analyser vos données

2 Traitement des données : étape 1

3 Traitement des données: étape 2

4 Traitement des données: étape 3

5 Nettoyage des données : étape 1

6 Nettoyage des données : étape 2

7 Nettoyage des données : étape 3

7.1 La recherche de doublons est une autre étape importante de la phase de nettoyage des données. Cela est souvent dû à une mauvaise collecte de données. Regardons cet exemple rapide :

8 Nettoyage des données : étape 4

8.1 Références:

Ce que nous vous recommandons de faire avant d’analyser vos données

[/tatsu_text][/tatsu_column][/tatsu_row][tatsu_row full_width= « 0 » bg_color= « » border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » no_margin_bottom= « 0 » equal_height_columns= « 0 » gutter= « medium » column_spacing= « px » fullscreen_cols= « 0 » swap_cols= « 0 » padding= ‘{« d »: »0px 0px 0px 0px »}’ margin= ‘{« d »: »0px 0px »}’ row_id= « » row_class= « » box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » border_radius= « 0px » hide_in= « 0 » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » layout= « 1/1 » key= « Sye6-bKLHX »][tatsu_column bg_color= « » bg_image= « » bg_repeat= « no-repeat » bg_attachment= « scroll » bg_position= ‘{« d »: »top left »}’ bg_size= ‘{« d »: »cover »}’ padding= ‘{« d »: »0px 0px 0px 0px « }’ margin= ‘{« d »: » »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » box_shadow_custom= « 0px 0px 0px 0px rgba(0,0,0,0) » bg_video_mp4_src= « » bg_video_ogg_src= « » bg_video_webm_src= « » overlay_color= « » overlay_blend_mode= « none » animate_overlay= « none » link_overlay= « » vertical_align= « none » sticky= « 0 » offset= ‘{« d »: »0px 0px »}’ column_parallax= « 0 » column_width= ‘{« d »:100, »l »:100, »t »:100, »m »:100}’ column_mobile_spacing= « 0 » image_hover_effect= « none » column_hover_effect= « none » hover_box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » overflow= « » col_id= « » column_class= « » top_divider= « none » top_divider_height= ‘{« d »: »100″, »m »: »0″}’ top_divider_color= « #ffffff » flip_top_divider= « 0 » top_divider_zindex= « 9999 » bottom_divider= « none » bottom_divider_height= ‘{« d »: »100″, »m »: »0″}’ bottom_divider_color= « #ffffff » flip_bottom_divider= « 0 » bottom_divider_zindex= « 9999 » left_divider= « none » left_divider_width= ‘{« d »: »50″, »m »: »0″}’ left_divider_color= « #ffffff » invert_left_divider= « 0 » left_divider_zindex= « 9999 » right_divider= « none » right_divider_width= ‘{« d »: »50″, »m »: »0″}’ right_divider_color= « #ffffff » invert_right_divider= « 0 » right_divider_zindex= « 9999 » z_index= « 0 » hide_in= « 0 » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » layout= « 1/1 » key= « BJabWKLHX »][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « HkiWH6IH7 »]

L’un des plus gros problèmes pour un data scientist (probablement le plus gros) est de se rassurer sur la fiabilité des données avec lesquelles il va travailler. Nous sommes souvent confrontés à des situations telles que des valeurs manquantes, des données rapportées dans différents formats ou, tout simplement, des données mal collectées.

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-dtCv7Ijj/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0.png » image_varying_size_src= « » alignment= « center » border_width= « 0 » border_color= « » id= « 6173 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « SkR7L0JyH »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « B1ob-C8BQ »]

Pour un data scientist, une grande quantité de données collectées comme dans l’exemple ci-dessus pourrait être assez frustrante. Hormis une valeur manquante ou une valeur «YES» mal rapportée (comme «YE» dans la colonne «Legal_age»), les variables collectées dans différents formats peuvent être assez ennuyeuses si nous ne les identifions pas avant de commencer notre analyse. C’est précisément le cas des deux variables «Last_login_date» et «Last_login_time». Dans le premier, nous avons des dates collectées dans deux formats différents, « AAAA-MM-JJ » et « JJ / MM / AAAA », tandis que dans le second, nous avons la plupart du temps signalé comme « HH: MM: SS » sauf dans un cas (utilisateur «3458») où les secondes ne sont pas précisées.

[/tatsu_inline_text][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « SJ4KL0JyH »]

En ayant identifié cela, il ne faut pas hésiter à vérifier nos données avant de commencer l’analyse. C’est pourquoi, après avoir constitué un set de données, il faut absolument traiter les données et, potentiellement, les nettoyer.

Nous allons maintenant voir comment ces deux étapes fonctionnent et quelles sont les étapes indispensables pour toute bonne analyse de données.

[/tatsu_inline_text][tatsu_text bg_color= « » color= « » max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » text_typography= ‘{« d »: » »}’ hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « X72edKFRV »]

Traitement des données : étape 1

[/tatsu_text][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « SyXGZA8S7 »]

En Data Science et en particulier dans l’univers du Big Data, nous nous trouvons souvent dans une situation où nous devons traiter différents sets de données, généralement des fichiers aux formats «.xls» ou «.csv». Cela se produit principalement parce que les données ont été collectées par grappes, comme par exemple des périodes d’années ou des régions d’un pays. Les principaux outils de Data Science comme R (https://www.r-project.org/) nous aident à bien organiser les données, en les plaçant dans les lignes et colonnes d’un tableau unique.

Traitement des données: étape 2

Après avoir consolidé notre set de données, nous devons toujours nous rappeler de vérifier la signification de chaque variable afin de comprendre parfaitement toutes les données que nous allons traiter. Il est peut être également utile d’en faire une liste et de noter pour chaque variable sa signification, son unité et sa valeur d’intervalle. N’oubliez pas : ce n’est pas seulement pour vous que vous devez faire cela mais, potentiellement, pour d’autres personnes qui travailleront avec vous sur ces données. Ce faisant, il peut également être intéressant de renommer les variables avec des étiquettes plus pertinentes et auto-descriptives : un étiquetage intelligent est toujours précieux, surtout dans votre analyse future.

Traitement des données: étape 3

[/tatsu_text][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 50px 0px « }’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « SkW6WC8S7 »]

Cette dernière étape rejoint la notion de hiérarchie. Bon nombre de data scientists doivent travailler avec leurs propres KPIs mais aussi avec ceux proposés par leur direction. Il est donc primordial d’intégrer la notion de partage à la construction du futur tableau de bord, même quand celui-ci a pour vocation d’être mis à disposition de plusieurs groupes de personnes.

Nettoyage des données : étape 1

En Data Science, le risque d’avoir des données mal collectées ou enregistrées dans différents formats est très probable. Ce risque augmente évidemment lorsque nous combinons deux ou plusieurs sets de données. C’est pourquoi nous devons vérifier la nature de nos variables. Sur R, des fonctions comme «typeof()», «levels()», «table()» et «summary()» se révèlent alors très utiles pour cela (voir l’exemple ci-dessous réalisé sur la base de données «state» qui vient déjà avec R).

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-1ILcIrW1/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-1.png » image_varying_size_src= « » alignment= « none » border_width= « 0 » border_color= « » id= « 6174 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « ry4QvAkkr »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 50px 0px « }’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « ryCOAa1yS »]

Comme on peut le voir, la fonction «typeof()» détermine le type d’objet sur lequel on travaille : très utile, par exemple, pour savoir s’il s’agit d’un vecteur numérique ou d’un vecteur de caractères.

[/tatsu_inline_text][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 50px 0px « }’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « BkQYDRkyH »]

La fonction «levels()», permet elle d’accéder à l’attribut levels d’une variable. Par exemple, cela peut nous aider à identifier les données mal collectées. Si nous regardons notre premier exemple, en particulier à la variable «Legal_age» (qui répond à la question : est-ce que l’utilisateur a atteint l’âge légal ?) :

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-DS8GLRAl/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-2.png » image_varying_size_src= « » alignment= « none » border_width= « 0 » border_color= « » id= « 6175 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « Sym5PRJkB »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 50px 0px « }’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « ByW5R6kJr »]

Cette variable est une variable dichotomique qui peut uniquement prendre les valeurs «YES» ou «NO». Grâce à «levels()», nous avons immédiatement souligné que dans notre set de données pour «Legal_age», nous avons au moins une valeur manquante et au moins un «YE», ce qui est évidemment une valeur «YES» mal collectée.

Si nous avons besoin de savoir pour combien d’unités statistiques (dans notre cas, User_IDs) la variable «Legal_age» prend la valeur «YE» ou n’a aucune valeur du tout, nous devons alors jeter un œil à la fonction «table ()»:

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-Ve2zZTvk/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-3.png » image_varying_size_src= « » alignment= « none » border_width= « 0 » border_color= « » id= « 6176 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « BJBRvRJyH »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 50px 0px « }’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « S1hCCakJS »]

Ainsi, nous pouvons constater que dans notre exemple, nous avons 18 valeurs manquantes (représentées par un espace vide dans la fonction «table()») et 35 valeurs «YE», qui doivent évidemment être corrigées.

Nettoyage des données : étape 2

La dernière commande que nous avons évoqué au début de l’étape précédente est «summary()». Cette fonction fournit la gamme de statistiques descriptives suivante : moyenne, médiane, 25e et 75e quartiles, min et max. Elle est assez utile pour nous donner une meilleure vision des valeurs assumées par une variable et, potentiellement, pour vérifier s’il y a quelque chose d’anormal parmi celles-ci (min trop bas, max trop élevé, une valeur moyenne complètement différente par rapport à nos attentes, etc. ).

Une valeur aberrante peut parfois être une valeur anormale. Mais que voulons-nous dire lorsque nous parlons de valeurs aberrantes? Une valeur aberrante est une observation qui est numériquement distante du reste des données et qui affecte généralement la plupart des paramètres statistiques, tels que les moyennes, les écarts-types et les corrélations, ainsi que toutes les statistiques basées sur ces derniers. L’identification des valeurs aberrantes est une tâche importante que nous devons effectuer afin de vérifier notre set de données. Cependant, les supprimer d’un ensemble de données n’est pas une bonne pratique, car ce sont des observations légitimes et parfois très plus intéressantes. C’est pourquoi il est important d’étudier leur nature avant de décider quoi en faire. Cependant, dans les cas où il est évident que la valeur aberrante est due à des données mal saisies ou mesurées, nous pouvons la supprimer sans aucun problème.

En Data Science, les outils graphiques tels que les boîtes à moustaches sont fréquemment utilisés pour identifier ce type de données. Dans une boîte à moustaches, une valeur aberrante est définie comme un point de données situé à l’extérieur des clôtures («moustaches») de la boîte à moustaches. Par exemple, exécuter le code R ci-dessous tracera une boîte à moustaches d’une centaine d’observations échantillonnées à partir d’une distribution normale, et nous permettra ensuite de voir le point aberrant :

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-XbNa0nJ7/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-4.png » image_varying_size_src= « » alignment= « center » border_width= « 0 » border_color= « » id= « 6177 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « rJ8SuC11r »][/tatsu_image][tatsu_text bg_color= « » color= « » max_width= ‘{« d »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » text_typography= ‘{« d »: » »}’ hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « 0A-5CKUzs »]

Nettoyage des données : étape 3

[/tatsu_text][tatsu_inline_text max_width= ‘{« d »: »100″, »m »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « SyliORyyB »]

La recherche de doublons est une autre étape importante de la phase de nettoyage des données. Cela est souvent dû à une mauvaise collecte de données. Regardons cet exemple rapide :

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-Ls3GHgbS/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-5.png » image_varying_size_src= « » alignment= « none » border_width= « 0 » border_color= « » id= « 6178 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « SkG1FCkyH »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″, »m »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « ryrWtCy1S »]

Nous avons ici un échantillon de l’effectif du Paris Saint-Germain sur la saison 2015/16 où chaque variable indique respectivement le nom et le prénom du joueur, les apparitions saisonnières et les buts marqués (jusqu’au 30 novembre 2015). Comme nous pouvons le voir, Ibrahimovic a été recueilli deux fois : une fois avec son nom et son prénom, une deuxième fois uniquement avec son nom de famille. Évidemment, si nous traitons ce dataset tel quel, nous aurons deux unités statistiques pour Ibrahimovic : cela nous conduira à tort à avoir un joueur de plus par rapport à l’effectif réel du Paris Saint-Germain 2015/16. Les fonctions basiques de chaînes de caractère (voir notre article «Manipuler des chaînes de caractère sous R») ou simplement les fonctions «levels()» ou «table()» peuvent nous aider à individualiser et résoudre ces problèmes assez rapidement.

Nettoyage des données : étape 4

Avant de lancer notre analyse de données, il est toujours plus sûr de faire de simples tests de cohérence, lorsque c’est évidemment possible. Voyons, par exemple, cet échantillon de clients d’un vendeur de vin :

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-SH5-iKMU/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-6.png » image_varying_size_src= « » alignment= « none » border_width= « 0 » border_color= « » id= « 6179 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « H1t5YC1Jr »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″, »m »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « HksptCkJS »]

Pour chaque client, nous avons son numéro d’identification, la quantité de bouteilles 75cl qu’il a acheté, le montant total qu’il a payé pour ces bouteilles (en euro), la quantité de bouteilles 150cl qu’il a acheté et encore le montant total qu’il a payé pour ces dernières (toujours en euro). Il faut savoir qu’une seule bouteille de 75cl vendue par ce caviste coûte 15€ alors qu’une bouteille de 150cl coûte 30€. Cela dit, nous pouvons facilement vérifier s’il y a eu une erreur dans le rapport du montant total que chaque client a payé lorsqu’il a acheté des bouteilles. En effet, les variables «Tot_75cl» et «Tot_150cl» dépendent respectivement de «Bouteilles_75cl» et «Bouteilles_150cl».

[/tatsu_inline_text][tatsu_image image= « https://mlzazqkya7ia.i.optimole.com/qlyKw9Q-Mc6Rw4pE/w:auto/h:auto/q:55/https://www.10h11.com/wp-content/uploads/2019/06/pasted-image-0-7.png » image_varying_size_src= « » alignment= « none » border_width= « 0 » border_color= « » id= « 6180 » size= « full » adaptive_image= « 0 » max_width= ‘{« d »: »100% »}’ rebel= « 0 » width= ‘{« d »: »100% »}’ shadow= « none » custom_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » drop_shadow= « drop-shadow(0px 0px 0px rgba(0,0,0,0)) » border_radius= « 0 » lazy_load= « 1 » placeholder_bg= « » offset= ‘{« d »: »0px 0px »}’ lightbox= « 0 » link= « » new_tab= « 0 » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » padding= ‘{« d »: » »}’ margin= ‘{« d »: » »}’ key= « BkTCKCJyH »][/tatsu_image][tatsu_inline_text max_width= ‘{« d »: »100″, »m »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « Skfxc0kkS »]

On découvre alors que pour le client «984» il y a eu une erreur dans la déclaration de son montant total payé pour les bouteilles de 75cl. En divisant le montant total payé (soit 350€) par le nombre de bouteilles 75cl achetées (soit 24), on voit que le client «984» a payé 14,583 € la bouteille 75cl au lieu de 15€ : il semble donc très probable qu’il y ait eu une erreur lors de l’enregistrement du montant total payé.

[/tatsu_inline_text][tatsu_inline_text max_width= ‘{« d »: »100″, »m »: »100″}’ wrap_alignment= « center » text_alignment= ‘{« d »: »left »}’ margin= ‘{« d »: »0px 0px 30px 0px »}’ bg_color= « » typography= ‘{« d »: » »}’ box_shadow= « 0px 0px 0px 0px rgba(0,0,0,0) » padding= ‘{« d »: »0px 0px 0px 0px »}’ border_style= ‘{« d »: »solid », »l »: »solid », »t »: »solid », »m »: »solid »}’ border= ‘{« d »: »0px 0px 0px 0px »}’ border_color= « » border_radius= « 0px » hide_in= « » css_id= « » css_classes= « » animate= « 1 » animation_type= « none » animation_delay= « 0 » animation_duration= « 300 » key= « B1K-cCJ1H »]