L'ouverture des données au format dataframe est détaillé dans l'item de ce site :

Ouvrir des données en python : ouvrir des data.frame avec le module pandas

On retiendra l'exemple suivant pour ouvrir facilement un tableau excel :

import easygui

import pandas as pd

df2 = pd.read_excel(easygui.fileopenbox()) # On peut remplacer easygui.fileopenbox() par le nom du fichier.

• Le même code simplifiée sera :

from easygui import *

from pandas import *

df2 = read_excel(fileopenbox())

Pour obtenir un résumé de la structure d'une data.frame, colonne par colonne :

mydata.describe().T

mydata.shape() # description générale

print(len(mydata.columns)) # Nombre de colonnes (équivalent de ncol sous R)

print(len(mydata.index)) # Nombre de lignes (équivalent de nrow sous R)

colnames = list(mydata.columns) ; print(colnames) # Méthode 1 pour afficher les titres des colonnes (ou les récupérer dans une liste)

colnames = mydata.columns.values ; print(colnames) # Méthode 2 pour afficher les titres des colonnes

rownames = list(mydata.index.values ) ; print(rownames) # Méthode 3 pour afficher les titres des lignes

• Changer les noms des colonnes

# Changer le nom des colonnes à partir d'une liste (méthode simple)

new_colnames = ["Âges","Sexe"]

mydata.columns = new_colnames ; print(mydata) # mydata est la dataframe construite avec le code 1.2- de cette page

# Méthode plus subtile où l'on indique pour les colonnes à renommer la nouvelle correspondance

mydata = mydata.rename(columns={"age":"Âge","sx":"Sexe"}) ; print(mydata)

# Méthode la plus "simple" pour renommer seulement une colonne (ici la 2ème)

colnames = list(mydata.columns); colnames[1] = "Groupe"; mydata.columns = colnames

• Changer les noms des lignes

# Changer le nom des lignes à partir d'un liste

mydata.index = range(2,13,1) # On remplace les numéros de ligne de 0 à 10 par de 2 à 12

# Méthode plus subtile où l'on indique pour les lignes à renommer la nouvelle correspondance

mydata = mydata.rename({2:"Première",6:"Au milieu"}) ; print(mydata)

df.dtypes

# Ne conserver du tableau que les données numériques

df2 = df.select_dtypes(include=['int64','float64'])

# Ne conserver du tableau que les données non-numériques

df2 = df.select_dtypes(exclude=['int64','float64'])

On peut aussi collecter les identifiants des colonnes répondant à des dtypes et ainsi appliquer dessus des transformations sans changer les autres colonnes :

ind_num = np.isin(df.dtypes,['int16','int32','int64','float64','float16','float32'])

df.iloc[:,ind_num] # Affichage des colonnes numériques

• Lien externe : afficher le type de données

• Lien externe : filtrer en condition du type.

Je reprends une fois de plus la dataframe construite en collant le code de la partie 1.2- (avec une colonne age et sexe)

print(mydata.age)

print(mydata["age"])

print(mydata[["age","sx"]])

Les noms de colonnes ici sont au format list, mais on pourrait très bien compiler des données au format index de pandas comme avec ces deux fonctions :

mydata.keys() ; mydata.columns

# Jeu de données simulé

from numpy import random as rd

age = [18,19,20,18,19,20,17,23]

sx = ["M","F"]*4

poids = rd.normal(loc=65, scale=6, size=8)

taille = rd.normal(loc=175, scale=12, size=8)

import pandas as pd

mydata = pd.DataFrame({"Age":age,"Sexe":sx,"Poids":poids,"Taille":taille})

mydata = mydata.rename({0:"Témoin",1:"Malade"}) ; print(mydata)

• Afficher les lignes par noms

print( mydata.loc["Témoin"] ) # Afficher la ligne Témoin

print( mydata.loc[["Malade",2]] ) # Afficher les lignes Malade et celle ayant l'indice 2

• Appeler le contenu d'une cellule ou d'une plage de cellules

print( mydata.iloc[ [1,2,3] , [1,2] ] ) # Afficher la plage : lignes (indices 1 à 3) et colonnes (indices 1 et 2)

• Appeler le contenu d'une cellule ou d'une plage de cellules en utilisant titres et indices

mydata[["Sexe","Age"]].iloc[[1,2,3],:] # Afficher les lignes 1, 2 et 3 des colonnes Sexe et Age

# En reprenant un des jeux de données ci-dessus

mydata2 = mydata[sorted(mydata)]

Voici juste un exemple en reprenant le jeu de données de la partie 3.4. :

mydata.Poids[ (mydata.Age > 18) & (mydata.Sexe == "F")] # Poids des filles de plus de 18 ans

• Si vous voulez plus d'exemple, consulter la rubrique Sélection par condition.

• Voici un jeu de données

taille = [175,160,186,173,176]

poids = [50,60,62,70,40]

age= [18,19,20,21,20]

mytab = pd.DataFrame({"Poids":poids,"Taille":taille,"Age":age})

• Calculer la moyenne de chaque colonne ou de chaque ligne

mytab.mean() # Moyenne de chaque colonne

mytab.mean(axis=1) # Moyenne de chaque ligne

• Calculer l'écart-type de chaque colonne

mytab.std()

• Réaliser une matrice de corrélation pour la dataframe

mytab.corr()

• Centrer et réduire les données d'une dataframe

temp = mytab.sub(mytab.mean()) # Soustraire la moyenne de chaque colonne à chaque valeur : centrer les valeurs

temp = temp.div(temp.std()) # Divisé les valeurs de la dataframe par l'écart-type de chaque colonne

• Appliquer des calculs/fonctions valeur par valeur, colonne par colonne ou ligne par ligne

Exemple 1

mytab.apply(np.sqrt) # Racine carrée de chaque valeur (exige l'importation de numpy as np)

Exemple 2

mytab.apply(np.sum,axis=0) # Somme de chaque colonne

Exemple 3

def myfunc(serie) :

temp = np.mean(serie)-np.median(serie)

return(temp)

mytab.apply(myfunc, axis=1) # Différence entre médiane et moyenne ligne par ligne

print(mytab)

temp = mytab.drop (["Taille"],axis=1) ; print(temp) # Suppression de la colonne Taille (on peut en mettre plusieurs)

• ou encore :

index = mytab.columns.drop(["Taille"]) # On fait un index qui répertorie toutes les colonnes sauf celles que l'on ne désire pas.

temp = mydata[index] ; print(temp)

• Remplacer le contenu d'une colonnes, remplacer des caractères

print(mytab)

# Remplacer M et F par 1 et 2 pour numériser

mytab["sx"]= mytab["sx"].replace("M",1, case = False)

mytab["sx"]= mytab["sx"].replace("F",2, case = False)

Convertir en numérique (équivalent de as.numeric() de R)

import pandas as df

mytab[['sx']] = mytab[['sx']].apply(df.to_numeric)

• Remplacer le contenu sur plusieurs colonnes pandas (ex, les colonnes sx1 et sx2)

mytab[["sx1","sx2"]]=mytab[["sx1","sx2"]].replace('\D*',"", regex=True)

Ici, on utilise une expression régulière qui va remplacer tous les caractères non numériques "\D" en mode regex=T. Le * implique un nombre non précisé de caractères, un nombre variable de caractères.

Voici l'équivalent de la fonction table() de R pour compter les différentes catégories qui constituent une colonne de valeurs ou encore pour contingenter le croisement de deux variables :

• Mots clefs : function table R to Python

• Croiser deux variables pour comptabiliser les catégories croisées

  • 1- Voici un jeu de données qui indique le sexe et le type de taille ("grand" ou "petit") - code à copier-coller :

sx = ["M"]*5 + ["F"] * 5 + ["M"]

taille = [174,167,170,170,171,177,155,150,176,178,173]

type = []

for i in taille :

if i < 170 : type = type+["petit"]

else : type = type+["grand"]

import pandas as pd

mydata = pd.DataFrame({"type":type,"sx":sx,'taille':taille})

Toutefois, la méthode crosstab() présente une faiblesse : on obtient un tableau à 2 entrées (ici le sexe et la taille).

Tabeau qu'il serait pertinent de basculer en 1 tableau simple à une entrée :

Pour faire un tableau à 1 seule entrée en faisant un tri croisé avec crosstab.

resultat = pd.crosstab(mydata.sx, mydata.type).stack().reset_index(name='Effectif')

Remarque, normalement, on pourrait faire plus simplement avec la méthode melt mais la sortie de crosstab ne s'y prête pas.