개발팀에서 Deadlock found when trying to get lock; try restarting transaction 메세지를 Application에서 받았다고 했지만, show engine innodb status 의 정보나 information_schema.INNODB_METRICS 테이블에 관련된 내용이 전혀 없었음.

MySQL MVCC history list

MySQL은 default REPEATABLE READ라서, InnoDB 모든 변경을 undo에 마구마구 기록하게 됩니다. https://blog.jcole.us/2014/04/16/the-basics-of-the-innodb-undo-logging-and-history-system/ 그리고 오래된 트랜잭션때문에 history list가 커지면 성능저하가 발생하게 됩니다. https://www.percona.com/blog/2017/05/08/chasing-a-hung-transaction-in-mysql-innodb-history-length-strikes-back/

MySQL InnoDB table definition cache LRU Maintenance

InnoDB에서는 table definition cache를 server(frm) 와 engine level(InnoDB system table)에서 모두 관리합니다. sql을 실행할때마다, table definition 을 접근해야합니다. 이것을 frm file이나 system table에서 매번 가져와야한다면 엄청 느리겠지요. 그래서 MySQL은 이를 캐시하는 영역이 있습니다. table definition cache. 이를 어떻게 관리하는지 설명합니다.

사전지식

2019

MySQL에서 null safe equal operator (<=>)

개요

SQL에서 NULL과의 모든 연산은 NULL을 반환한다. NULL은 아직 할당되지 않은 값이기 때문이다. 이를 피하기 위해 ifnull과 같은 함수를 사용하기도 하지만 모든 nullable column을 비교하기위해 해당 function을 사용하는것은 꽤나 귀찮은 일이다. 이때문에 MySQL은 <=>라는 연산자를 제공한다.

MySQL convert to character set

mysql 전체 테이블의 character set을 일괄로 변경하고자 할때 온라인으로 변경하는 방법을 설명한다.

MySQL compile용 BOX 만들기

주의사항

해당 스크립트는 MySQL Debugging 을 위해 debug버젼을 compile하는데 목적이 있음으로 OS root유저로 진행한다. 사용을 위해서는 정상적인 절차 (mysql user 생성 / systemd 등록..) 를 진행한다.
5.7 과 8.0은 명령어가 조금 다른데, 해당이유는 8.0을 compile 하기 위해서는 cmake 버젼과 gcc 버젼을 올려줘야 한다.
cmake >= 3.0
GCC >= 4.8 (C++ 11) (MySQL 5.7의 경우, GCC >= 4.4)
8.0 compile시, fatal error: ld terminated with signal 9 [Killed] 라는 에러가 발생했는데 이는 docker가 사용했던 메모리가 부족 (2GiB)하여 발생되었다. oom 세팅과 메모리를 4GiB로 올린 후 문제는 발생하지 않았다.
windows 는 깔끔하게 mysql_debug binary를 받아서 사용하면 된다. :-)

명령어 모음

OS 명령어

Docker로 centos 이미지 만들기

docker search centos
docker pull centos
docker images -a
docker run -dit --hostname C7_M8017 --name centos7_mysql8017 centos
docker container ls -a
docker exec -it centos7_mysql8017 /bin/bash

Windows를 사용할때 Visual Studio 사용하며 디버깅할때의 편안함을 잊지 못하고 Xcode를 통해 build 하는 방법에 대해 로깅

개요

* Alter table 명령어를 실행하고 나면, 현재 진행상황이 어느정도인지 궁금할때가 있다.
 일반적으로 파일사이즈나 show engine innodb status를 통해 가늠해볼 수는 있지만, 정확한 값은 아니며 때로는 여러단계에서 같은 작업을 진행함으로 현재 작업을 얼마나 더 해야 하는지 예상하기 쉽지 않다.
 MySQL 5.7부터는 Performance_schema 를 이용하여, Alter 명령어에 대해 모니터링을 할 수 있다.

decimal type 제대로 알고 사용하기

mysql에서 실수를 표현할때는 보통 decimal 혹은 double을 사용하게 된다. 이 둘의 차이점이 무엇이고, decimal 을 사용하는 경우에 주의할 점을 기술한다.

explicit_defaults_for_timestamp 에 대해서

[Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use –explicit_defaults_for_timestamp server option (see documentation for more details).

MySQL Bug when using server-side prepared statements

5.6 개요

Datatype default 값의 변경

개요

기본 CharacterSet 의 변경 (latin1 > utf8mb4)

개요

MySQL 8.0 - Replication By Channel

MySQL 8.0 - Function Based Index (Functional Key Parts)

MySQL 8.0 - Descending Index

MySQL 8.0 - Invisible Index

MySQL 8.0 - 추가된 OPTIMIZER HINT

MySQL 8.0 - SKIP LOCKED, NOWAIT

MySQL 8.0 - Window function

MySQL 8.0 - Common Table Expression

MySQL 8.0 - Role 기능 추가

MySQL 8.0 - SET PERIST 구문

MySQL 8.0 - ALTER TABLE ALGORITHM=INSTANT 옵션

Disable index_merge on MySQL

2018

Crash recovery and Data integrity on MySQL

Crash recovery on MySQL

Add an AUTO_INCREMENT column to a partitioned table

사용중인 파티션테이블에 AI column을 추가하려고한다. 이때 AUTO_INCREMENT속성으로 add column, ALGORITHM=INPLACE 하면 에러가 발생한다. 현상을 살펴보자.

MySQL Fractional timestamp and Partition pruning

Read Committed vs. Repeatable Read

MySQL의 Isolation level은 전통적으로 Repeatable Read 를 default로 한다.
하지만 반드시 repeatable read가 필요한 경우에만 lock을 사용하고 그외에서는 committed 를 봐도 무방하다면, 다른 RDBMS와 같이 Read committed를 default Isolation level로 하는 건 어떨까.
막연하게 Read Committed가 lock contention이 더 줄고, 동시성에 더 좋을 것 같다.
그리고 Repeatable read 에서 long running query (혹은 슬프게도 transaction이 제대로 close되지 않아서)가 돌때 undo가 너무 많이 쌓여서 전체적으로 성능에 영향을 주는 상황도 회피할 수 있다.

MTS considerations

Multi-threaded slave(MTS)를 통해서 slave delay를 줄일수 있을까.

→ YES. https://mysqlhighavailability.com/multi-threaded-replication-performance-in-mysql-5-7/
실제로 slave delay가 발생하는 시스템에서 MTS on/off test결과 효과적인 것을 확인 할 수 있었다.

MySQL range partition VS range columns partition

MySQL sandbox 설치와 이용방법

2017

Make my replication to the InnoDB Cluster

MySQL 통계정보

Semi-Synchronous Replication on MySQL

2016

MySQL slow query 를 효율적으로 이용해보자!

PostgreSQL synchronous_commit 개념도

pgbadger로 PostgreSQL 로그분석레포팅하기

pg_rewind로 좀더 편해진 Streaming replication Failback

skip-name-resolve 와 unauthenticated user

mysql client utility 와 -A 옵션

“Error: Table “mysql”.”innodb_table_stats” not found” 는 왜 발생하는가?

performace_schema 를 이용하여 최근에 실행된 쿼리 확인하기

2015

유용한 mysql client tool 옵션 (my.cnf 에 설정)

버젼에 따라 쿼리 실행하기

MySQL query_cache 최적화 하기

binlog_row_image 에 대해서

mysqltest command를 이용한 mockup test 및 임의의 데이터 생성

MySQL SYS schema overview

Slave 에서 mysqldump의 dump-slave 옵션을 이용하여 백업 혹은 다른 slave 구성하기

MySQL Audit 사용하기

MySQL to PostgreSQL Migration tool

Linux 의 OOM (Out of memory) killer 로 인한 mysqld shutdown 피하기

MySQL architecture - Adaptive Hash Indexes

MySQL InnoDB architecture - doublewrite buffer

MongoDB Replica Set 멤버 추가/삭제하기

MongoDB Replica Set status 확인하기

MongoDB Filesystem snapshot을 사용한 백업/리스토어

information_schema.INNODB_XXX 를 활용한 lock 정보 확인

mysqladmin 을 통한 상태로깅

MongoDB Replica Set 구성하기

MongoDB Installation

MySQL InnoDB Thread Concurrency 설정하기

MySQL open_files_limit 변경하기

MySQL innodb_flush_method

MySQL InnoDB architecture – InnoDB I/O threads

MySQL InnoDB architecture - change buffer

innodb_flush_log_at_trx_commit 개념도와 튜닝 포인트

mysqldump를 이용한 전체 fulldump 에서 특정 database 만 import 하기

mysqlfailover , mysqlreplicate , mysqlrpladmin 를 이용한 MySQL HA 자동 failover 및 수동 failback

MySQL 의 show slave status 에서 Seconds_Behind_Master 는 무엇을 기준으로 결정되는가?