分類: SQL

[MySQL / MariaDB] 取得每個group的前N筆資料

SQL資料庫
Andy Wu在〈[MySQL / MariaDB] 取得每個group的前N筆資料〉中有 1 則留言

最近在工作上為了產報表，需要寫sql去撈每個group的top N筆紀錄。研究了一會兒後最後用了以下的解法。

假設今天有個payment的資料表記錄了每筆交易所涉及的用戶、幣別、金額。

交易id(id) 用戶id(uid) 交易幣別(currency) 金額(amount)
1 11 NTD 800
2 6 NTD 590
3 7 NTD 1020
4 55 USD 24
5 33 USD 27
6 2 USD 25
7 13 JPY 3870
8 10 JPY 2980
9 41 JPY 3780

我們想要取每個幣別的前2筆最大金額的交易記錄，我們可以這樣寫：

SELECT id, uid, currency, amount
FROM (
  SELECT id, uid, currency, amount,
    @counter := IF(@current_currency = currency, @counter + 1, 1) AS counter,
    @current_currency := currency AS current_currency
  FROM payment
  ORDER BY currency, amount DESC
) ordered_result
WHERE counter <= 2;
Read More

select...for update再insert造成deadlock的陷阱

SQL資料庫
Andy Wu在〈select...for update再insert造成deadlock的陷阱〉中有 11 則留言

最近side project在寫購票系統，因而踩中了這個坑。這個坑其實對InnoDB的鎖的觀念不熟悉的人會很難發現造成deadlock的原因，因此想特別寫一篇記錄一下，幫助也在開發類似功能的大家少走一點冤望路。

本篇的講解順序會先帶大家重現我之前引發Deadlock的購票功能邏輯，再來說明資料表使用InnoDB引擎下產生如此Deadlock的原因。

 

環境

  • 本篇範例使用的DB是 MariaDB 10.3.7 (開源版的MySQL)
  • 資料表採用預設的 InnoDB 引擎，隔離層級也是預設的 Repeatable Read
  • 範例資料表ticket的schema如下：
CREATE TABLE `ticket` (
  `id`      int(11) NOT NULL AUTO_INCREMENT,
  `show_id` int(11) NOT NULL,
  `user_id` int(11) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `ticket_show_id_IDX` (`show_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4

id是主鍵(PK)、show_id為了之後查詢上的需要，有建非唯一索引(non-unique index)、user_id理論上是外鍵(FK)，但這個欄位不是本篇的重點所以忽略他。

 

Read More

[MySQL / MariaDB] CSV檔匯入資料表

SQL資料庫
Andy Wu在〈[MySQL / MariaDB] CSV檔匯入資料表〉中有 2 則留言

最近有從網路上下載CSV檔案，並且匯入資料庫準備拿來做分析的需求

一開始嘗試用phpMyAdmin裡的匯入功能

但是因為要經過分析轉譯，匯入速度實在不敢恭維

加上登入的session又會timeout，好不容易跑了10萬筆就被中斷，功虧一簣Orz

嘗試了數種方法，最後還是決定回到正統用SQL語法操作的方式。

LOAD DATA LOCAL INFILE  '/path/to/example.csv'
INTO TABLE table_name
CHARACTER SET UTF8
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

P.S.

  • 用terminal進mysql後，記得先use myDatabase;到正確的資料庫下再進行操作。

  • 換行符號因作業系統而異，也有可能是\r\n。

Read More