作者簡(jiǎn)介：小小明，Pandas數(shù)據(jù)處理專家，致力于幫助無(wú)數(shù)數(shù)據(jù)從業(yè)者解決數(shù)據(jù)處理難題。

大家好，我是小小明。

先看一個(gè)小需求：

今天呢，我將帶大家分別使用MySQL、Excel、Pandas、VBA和Python來(lái)實(shí)現(xiàn)這個(gè)需求，讓大家對(duì)分組統(tǒng)計(jì)代碼層面的實(shí)現(xiàn)能夠更加熟悉。

MySQL實(shí)現(xiàn)分組統(tǒng)計(jì)

sql語(yǔ)句：

SELECT 
  deal_date,
  SUM(IF(AREA= 'A區(qū)', 1, 0)) 'A區(qū)',
  SUM(IF(AREA= 'B區(qū)', 1, 0)) 'B區(qū)',
  SUM(IF(AREA= 'C區(qū)', 1, 0)) 'C區(qū)' 
FROM
  order_info 
GROUP BY deal_date ;

結(jié)果：

Excel實(shí)現(xiàn)分組統(tǒng)計(jì)

首先創(chuàng)建數(shù)據(jù)透視表：

然后將對(duì)應(yīng)的字段拖動(dòng)到正確的位置：

然后打開(kāi)透視表選項(xiàng)取消這兩項(xiàng)勾選即可：

Pandas進(jìn)行分組統(tǒng)計(jì)

讀取數(shù)據(jù)：

import pandas as pd

df = pd.read_csv("data.csv", encoding="gb18030")
df

結(jié)果：

使用數(shù)據(jù)透視表操作：

df.pivot_table(values="order_id", index="deal_date",
               columns="area", aggfunc="count", fill_value=0)

上述代碼相當(dāng)于groupby操作：

df.groupby(["deal_date", "area"])["order_id"].count().unstack(1, fill_value=0)

但我一般會(huì)這樣寫：

df.groupby(["deal_date", "area"]).size().unstack(1, fill_value=0)

結(jié)果均為：

VBA實(shí)現(xiàn)分組統(tǒng)計(jì)

經(jīng)過(guò)近1小時(shí)的痛苦的嘗試，終于編寫出了下面這段VBA代碼，它模擬實(shí)現(xiàn)了分組計(jì)數(shù)的過(guò)程：

Option Explicit
Function is_exists(name As String)
Dim sht As Worksheet
For Each sht In Worksheets
   If sht.name = name Then
      is_exists = True
      Exit Function
   End If
Next
is_exists = False
End Function

Sub 分組統(tǒng)計(jì)()
    Dim LastRow, LastCol As Long
    Dim Sh As Worksheet
    'Sh指代當(dāng)前活動(dòng)頁(yè)
    Set Sh = Sheets("data")
    '當(dāng)前活動(dòng)頁(yè)的最后一行
    LastRow = Sh.Cells(Rows.Count, 1).End(xlUp).row
    '當(dāng)前活動(dòng)頁(yè)的最后一列
    LastCol = Sh.Cells(1, Columns.Count).End(xlToLeft).Column
    '定義D為字典
    Dim D As Object
    Set D = CreateObject("Scripting.Dictionary")
    Dim row, i As Integer
    Dim key, value As String
    
    For i = 2 To LastRow
        key = Sh.Cells(i, 3).value
        value = Sh.Cells(i, 4).value
        '如果在字典里
        If Not D.exists(key) Then
            D.Add key, Array(0, 0, 0)
        End If
        row = D(key)
        If value = "A區(qū)" Then
            row(0) = row(0) + 1
        ElseIf value = "B區(qū)" Then
            row(1) = row(1) + 1
        ElseIf value = "C區(qū)" Then
            row(2) = row(2) + 1
        End If
        D(key) = row
    Next
    '調(diào)試輸出字典存儲(chǔ)的內(nèi)容
    For Each key In D.keys()
        Debug.Print key & "," & Join(D(key), ",")
    Next
    
    Dim sht As Worksheet
    If is_exists("result") Then
        Sheets("result").Delete
    End If
    
    '在最后的位置增加一個(gè)sheet作為結(jié)果表
    Sheets.Add After:=Sheets(Sheets.Count)
    Set sht = Sheets(Sheets.Count)
    sht.name = "result"
    
    '屏幕刷新=false
    Application.ScreenUpdating = False
    '下面寫出數(shù)據(jù)到結(jié)果表中，首先寫出標(biāo)題行
    sht.Range("A1").Resize(1, 4) = Application.Transpose(Array("deal_date", "A區(qū)", "B區(qū)", "C區(qū)"))
    sht.Range("A2").Resize(D.Count, 1) = Application.Transpose(D.keys)
    i = 2
    For Each row In D.items()
        sht.Cells(i, 2).Resize(1, 3) = row
        i = i + 1
    Next
    Application.ScreenUpdating = True
    
End Sub

運(yùn)行前：

點(diǎn)擊按鈕運(yùn)行后：

立即窗口和工作表都看到了正確的結(jié)果輸出，立即窗口看到重復(fù)2次的輸出是因?yàn)槲疫B續(xù)運(yùn)行了兩次。

Python實(shí)現(xiàn)分組計(jì)數(shù)

實(shí)現(xiàn)代碼：

import csv
from collections import namedtuple

result = {}
columns = ["A區(qū)", "B區(qū)", "C區(qū)"]
areas_map = dict(zip(columns, range(len(columns))))
with open("data.csv", encoding="gb18030") as f:
    f_csv = csv.reader(f)
    headers = next(f_csv)
    resultSet = namedtuple("resultSet", headers)
    for r in f_csv:
        row = resultSet(*r)
        areas = result.setdefault(row.deal_date, [0, 0, 0])
        areas[areas_map[row.area]] += 1
result

結(jié)果：

{'2019/1/1': [1, 1, 1], '2019/1/2': [1, 1, 1], '2019/1/3': [1, 0, 1]}

借助Pandas轉(zhuǎn)換為表結(jié)構(gòu)方便查看：

pd.DataFrame.from_dict(result, 'index', columns=["A區(qū)", "B區(qū)", "C區(qū)"])

結(jié)果：

下面用Python模擬一下Pandas數(shù)據(jù)透視表實(shí)現(xiàn)分組統(tǒng)計(jì)的過(guò)程：

import csv
from collections import namedtuple, Counter

result = Counter()
with open("data.csv", encoding="gb18030") as f:
    f_csv = csv.reader(f)
    headers = next(f_csv)
    resultSet = namedtuple("resultSet", headers)
    for r in f_csv:
        row = resultSet(*r)
        result[(row.deal_date, row.area)] += 1
result

結(jié)果：

Counter({('2019/1/1', 'A區(qū)'): 1,
         ('2019/1/1', 'B區(qū)'): 1,
         ('2019/1/1', 'C區(qū)'): 1,
         ('2019/1/2', 'A區(qū)'): 1,
         ('2019/1/2', 'B區(qū)'): 1,
         ('2019/1/2', 'C區(qū)'): 1,
         ('2019/1/3', 'A區(qū)'): 1,
         ('2019/1/3', 'C區(qū)'): 1})

第二步Pandas還需再對(duì)這個(gè)結(jié)果進(jìn)行重塑才得到最終所需要的結(jié)果，具體重塑的過(guò)程實(shí)際實(shí)現(xiàn)較為復(fù)雜，但可以借助category的Series模擬實(shí)現(xiàn)一下：

indexs = result.keys()
index = pd.Series(map(lambda x: x[0], indexs), dtype='category')
columns = pd.Series(map(lambda x: x[1], indexs), dtype='category')
values = result.values()

data = np.zeros((len(index.cat.categories), len(columns.cat.categories)))
for x, y, v in zip(index.cat.codes, columns.cat.codes, values):
    data[x, y] = v
result = pd.DataFrame(data, index=index.cat.categories,
                      columns=columns.cat.categories, dtype='int8')
result

結(jié)果：

總結(jié)

其實(shí)不管用什么語(yǔ)言和工具，分組聚合統(tǒng)計(jì)的核心原理都是：

今天我給大家同時(shí)演示了MySQL、Excel、Pandas、VBA和Python實(shí)現(xiàn)分組聚合，通過(guò)對(duì)比，或許讀者能自己總結(jié)出各項(xiàng)工具的優(yōu)劣和適用場(chǎng)景，歡迎你在下方評(píng)論區(qū)留言或評(píng)論，發(fā)表你的看法，給大家分享和互動(dòng)。