pandas是很常用的數(shù)據(jù)分析，數(shù)據(jù)處理的包。anaconda已經(jīng)有這個(gè)包了，純凈版python的可以自行pip安裝。

刪除重復(fù)值 drop_duplicates()
df=pd.DataFrame({'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']})
語法：drop_duplicates(subset,keep,inplace)，其中參數(shù) keep:{‘first’，‘last’，F(xiàn)alse}，默認(rèn)’first’
first：保留第一次出現(xiàn)的重復(fù)項(xiàng)，刪除第二次及之后出現(xiàn)的重復(fù)項(xiàng)。
last：保留最后一次出現(xiàn)的重復(fù)項(xiàng)，刪除之前出現(xiàn)的重復(fù)項(xiàng)。
"false"：刪除所有重復(fù)項(xiàng)。


查看有nan的行，和不含有nan的行
#1 查看含有nan的行     df[df.isna().any(axis=1)]
#2 查看不含有nan的行   df[~df.isna().any(axis=1)]   #有一個(gè)符號(hào) ~ 一定要注意這一點(diǎn)

示例：提取pandas dataframe中’商品名稱‘列包含’手機(jī)’字符的所有數(shù)據(jù)：
#提取含有指定字符的行
df2=df[df['商品名稱'].str.contains(pat='手機(jī)',regex=False)]  #regex=True則pat是一個(gè)正則表達(dá)式，regex=False表示pat是一個(gè)字符串

刪除pandas dataframe中’商品名稱’列包含’手機(jī)’字符的所有數(shù)據(jù)：
#刪除含有指定字符的行
df2=df.drop(df[df['商品名稱'].str.contains(pat='手機(jī)',regex=False)].index,inplace=True)  #regex=True則pat是一個(gè)正則表達(dá)式，regex=False表示pat是一個(gè)字符串


去掉某些具體值
數(shù)據(jù)集df中，對(duì)于屬性appPlatform（最后一列），我們想刪除掉取值為2的那些樣本。如何做？非常簡單。
df[(True-df['appPlatform'].isin([2]))]

當(dāng)然，有時(shí)候我們需要去掉不止一個(gè)值，這個(gè)時(shí)候只需要在isin([]）的列表中添加。更具體來說，例如，對(duì)于appID這個(gè)屬性，我們想去掉appID=278和appID=382的樣本。
df[(True-df['appID'].isin([278,382]))]


另外，我們有時(shí)候并不只是考慮某一列，還需要考慮另外若干列的情況。例如，我們需要過濾掉appPlatform=2而且appID=278和appID=382的樣本呢？非常簡單。
df[(True-df['appID'].isin([278,382]))&(True-df['appPlatform'].isin([2]))]

很詳細(xì)的介紹鏈接：https://www.jb51.net/article/236118.htm#_lab2_0_4
官網(wǎng)詳細(xì)解釋鏈接：https://pandas.pydata.org/docs/reference/api/pandas.Series.str.contains.html?highlight=contains#pandas.Series.str.contains


小的示例
import pandas as pd
df = {'地址':['北京','上海','長沙','北京省會(huì)','廣州市區(qū)'],'table':['user','student','course','sc','book']}
df = pd.DataFrame(df)
print(df)
print('================')
citys = ['北京', '天津', '上海']
address = '|'.join(citys)
df_new = df[df['地址'].str.contains(address)] #包含對(duì)應(yīng)關(guān)鍵字
print(df_new)