system.parts

Tabela de sistema com informações sobre partes do MergeTree

​

Descrição

Contém informações sobre as partes das tabelas MergeTree.

Cada linha descreve uma parte de dados.

​

Colunas

• partition (String) — Identificador da partição (representação textual derivada da expressão da chave de partição).
• name (String) — Nome da parte de dados. A estrutura do nome da parte pode ser usada para determinar muitos aspectos dos padrões de dados, de ingestão e de mesclagem. O formato do nome da parte é o seguinte:

<partition_id>_<minimum_block_number>_<maximum_block_number>_<level>_<data_version>

• Definições:

  • partition_id - identifica a chave de particionamento
  • minimum_block_number - identifica o número mínimo do bloco na parte. O ClickHouse sempre faz a mesclagem de blocos contínuos
  • maximum_block_number - identifica o número máximo do bloco na parte
  • level - incrementado em um a cada mesclagem adicional da parte. Um nível 0 indica que esta é uma nova parte que ainda não passou por mesclagem. É importante lembrar que todas as partes no ClickHouse são sempre imutáveis
  • data_version - valor opcional, incrementado quando uma parte é modificada por mutação (novamente, dados modificados por mutação sempre são gravados apenas em uma nova parte, já que as partes são imutáveis)

• uuid (UUID) — UUID da parte de dados.

• part_type (String) — O formato de armazenamento da parte de dados. Valores possíveis: Wide — cada coluna é armazenada em um arquivo separado, Compact — todas as colunas são armazenadas em um único arquivo. O formato de armazenamento da parte de dados é controlado pelas configurações min_bytes_for_wide_part e min_rows_for_wide_part da tabela MergeTree.

• active (UInt8) — Indicador que informa se a parte de dados está ativa. Se uma parte de dados estiver ativa, ela será usada em uma tabela. Caso contrário, está prestes a ser excluída. Partes de dados inativas surgem após operações de mesclagem e mutação.

• marks (UInt64) — O número de marcas. Para obter o número aproximado de linhas em um data part, multiplique as marcas pela granularidade do índice (geralmente 8192) (essa observação não se aplica à granularidade adaptativa).

• rows (UInt64) — O número de linhas.

• files (UInt64) — O número de arquivos na parte de dados.

• bytes_on_disk (UInt64) — Tamanho total, em bytes, de todos os arquivos das partes de dados.

• data_compressed_bytes (UInt64) — Tamanho total dos dados comprimidos na parte de dados. Os arquivos auxiliares (por exemplo, arquivos com marcas) não estão incluídos.

• data_uncompressed_bytes (UInt64) — Tamanho total dos dados não comprimidos na parte de dados. Os arquivos auxiliares (por exemplo, arquivos com marcas) não estão incluídos.

• primary_key_size (UInt64) — A quantidade de memória (em bytes) usada pelos valores da chave primária no arquivo primary.idx/cidx em disco.

• marks_bytes (UInt64) — O tamanho do arquivo de marcas.

• secondary_indices_compressed_bytes (UInt64) — Tamanho total dos dados comprimidos para índices secundários na parte de dados. Todos os arquivos auxiliares (por exemplo, arquivos com marcas) não são incluídos.

• secondary_indices_uncompressed_bytes (UInt64) — Tamanho total dos dados não comprimidos dos índices secundários na parte de dados. Todos os arquivos auxiliares (por exemplo, arquivos com marcas) não estão incluídos.

• secondary_indices_marks_bytes (UInt64) — O tamanho do arquivo de marcas dos índices secundários.

• modification_time (DateTime) — O horário em que o diretório da parte de dados foi modificado. Isso geralmente corresponde ao momento de criação da parte de dados.

• remove_time (DateTime) — A hora em que a parte de dados ficou inativa.

• refcount (UInt32) — O número de instâncias em que a parte de dados é usada. Um valor maior que 2 indica que a parte de dados é usada em consultas ou mesclagens.

• min_date (Date) — O valor mínimo da chave de data na parte de dados.

• max_date (Date) — O valor máximo da chave de data da parte de dados.

• min_time (DateTime) — O valor mínimo da chave de data e hora na data part.

• max_time (DateTime) — O valor máximo da chave de data e hora na parte de dados.

• partition_id (String) — ID da partição.

• min_block_number (Int64) — O número mínimo de partes de dados que formam a parte atual após a mesclagem.

• max_block_number (Int64) — O número máximo de partes de dados que formam a parte atual após a mesclagem.

• level (UInt32) — Profundidade da árvore de mesclagem. Zero significa que a parte atual foi criada por insert, e não pela mesclagem de outras partes.

• data_version (UInt64) — Número usado para determinar quais mutações devem ser aplicadas à parte de dados (mutações com versão superior a data_version).

• primary_key_bytes_in_memory (UInt64) — A quantidade de memória (em bytes) usada pelos valores da chave primária. Será 0 quando primary_key_lazy_load estiver habilitado e a chave não estiver carregada. Quando for diferente de zero, esses bytes ficam na própria parte e são contabilizados em jemalloc.mergetree_arena.active_bytes. Eles NUNCA são contados em PrimaryIndexCacheBytes — isso é mutuamente exclusivo para cada parte: um índice fica ou na parte (esta métrica) ou no PrimaryIndexCache compartilhado (a outra), dependendo de primary_key_lazy_load e use_primary_key_cache.

• primary_key_bytes_in_memory_allocated (UInt64) — A quantidade de memória (em bytes) reservada para os valores da chave primária. Será 0 quando primary_key_lazy_load estiver habilitado e a chave não estiver carregada. Quando for diferente de zero, será incluída em jemalloc.mergetree_arena.active_bytes. Veja a observação em primary_key_bytes_in_memory para entender a relação com PrimaryIndexCacheBytes.

• index_granularity_bytes_in_memory (UInt64) — A quantidade de memória (em bytes) usada pelos valores de granularidade do índice (será 0 no caso de primary_key_lazy_load=1 e use_primary_key_cache=1). Quando diferente de zero, os bytes são parcialmente atribuídos e contabilizados em jemalloc.mergetree_arena.active_bytes.

• index_granularity_bytes_in_memory_allocated (UInt64) — A quantidade de memória (em bytes) reservada para os valores de granularidade do índice (será 0 no caso de primary_key_lazy_load=1 e use_primary_key_cache=1). Quando não for zero, será incluída em jemalloc.mergetree_arena.active_bytes.

• is_frozen (UInt8) — Indicador que mostra que existe um backup dos dados de uma partição. 1, o backup existe. 0, o backup não existe. Para mais detalhes, consulte FREEZE PARTITION.

• database (String) — Nome do banco de dados.

• table (String) — Nome da tabela.

• engine (String) — Nome do engine da tabela sem parâmetros.

• disk_name (String) — Nome do disco que armazena a parte de dados.

• path (String) — Caminho absoluto para a pasta que contém os arquivos da data part.

• hash_of_all_files (String) — sipHash128 dos arquivos comprimidos.

• hash_of_uncompressed_files (String) — sipHash128 dos arquivos não comprimidos (arquivos com marcas, arquivo de índice etc.).

• uncompressed_hash_of_compressed_files (String) — sipHash128 dos dados dos arquivos comprimidos como se estivessem descomprimidos.

• delete_ttl_info_min (DateTime) — O valor mínimo da chave de data e hora da regra TTL DELETE.

• delete_ttl_info_max (DateTime) — O valor máximo da chave de data e hora da regra TTL DELETE.

• move_ttl_info.expression (Array(String)) — Array de expressões. Cada expressão define uma regra de TTL MOVE.

• move_ttl_info.min (Array(DateTime)) — Array de valores de data e hora. Cada elemento descreve o valor mínimo da chave para uma regra TTL MOVE.

• move_ttl_info.max (Array(DateTime)) — Array de valores de data e hora. Cada elemento descreve o valor máximo da chave para uma regra de TTL MOVE.

• default_compression_codec (String) — O nome do codec usado para comprimir esta parte de dados (caso não haja um codec explícito para as colunas).

• recompression_ttl_info.expression (Array(String)) — A expressão de TTL.

• recompression_ttl_info.min (Array(DateTime)) — O valor mínimo da expressão TTL calculada nesta parte. Usado para determinar se há pelo menos uma linha com TTL expirado.

• recompression_ttl_info.max (Array(DateTime)) — O valor máximo da expressão TTL calculada nesta partição. Usado para verificar se temos todas as linhas com TTL expirado.

• group_by_ttl_info.expression (Array(String)) — A expressão de TTL.

• group_by_ttl_info.min (Array(DateTime)) — O valor mínimo da expressão TTL calculada nesta part. Usado para determinar se há pelo menos uma linha com TTL expirado.

• group_by_ttl_info.max (Array(DateTime)) — O valor máximo da expressão TTL calculada nesta parte. Usado para entender se temos todas as linhas com TTL expirado.

• rows_where_ttl_info.expression (Array(String)) — A expressão de TTL.

• rows_where_ttl_info.min (Array(DateTime)) — O valor mínimo da expressão TTL calculada nesta parte. Usado para verificar se temos pelo menos uma linha com TTL expirado.

• rows_where_ttl_info.max (Array(DateTime)) — O valor máximo da expressão TTL calculada nesta parte. Usado para verificar se temos todas as linhas com TTL expirado.

• projections (Array(String)) — A lista de nomes de projeções calculados para esta parte.

• visible (UInt8) — Indicador que mostra se esta parte está visível para consultas SELECT.

• creation_tid (Tuple(UInt64, UInt64, UUID)) — ID da transação que criou ou está tentando criar este objeto.

• removal_tid_lock (UInt64) — Hash de removal_tid, usado para bloquear um objeto para remoção.

• removal_tid (Tuple(UInt64, UInt64, UUID)) — ID da transação que removeu ou está tentando remover este objeto

• creation_csn (UInt64) — CSN da transação que criou este objeto

• removal_csn (UInt64) — CSN da transação que removeu esse objeto

• has_lightweight_delete (UInt8) — O sinalizador que indica se a parte possui uma máscara de exclusão leve.

• last_removal_attempt_time (DateTime) — A última vez em que o servidor tentou remover esta parte.

• removal_state (String) — O estado atual do processo de remoção de partes.

​

Exemplo

SELECT * FROM system.parts LIMIT 1 FORMAT Vertical;

Linha 1:
──────
partition:                             tuple()
name:                                  all_1_4_1_6
part_type:                             Wide
active:                                1
marks:                                 2
rows:                                  6
bytes_on_disk:                         310
data_compressed_bytes:                 157
data_uncompressed_bytes:               91
secondary_indices_compressed_bytes:    58
secondary_indices_uncompressed_bytes:  6
secondary_indices_marks_bytes:         48
marks_bytes:                           144
modification_time:                     2020-06-18 13:01:49
remove_time:                           1970-01-01 00:00:00
refcount:                              1
min_date:                              1970-01-01
max_date:                              1970-01-01
min_time:                              1970-01-01 00:00:00
max_time:                              1970-01-01 00:00:00
partition_id:                          all
min_block_number:                      1
max_block_number:                      4
level:                                 1
data_version:                          6
primary_key_bytes_in_memory:           8
primary_key_bytes_in_memory_allocated: 64
is_frozen:                             0
database:                              default
table:                                 months
engine:                                MergeTree
disk_name:                             default
path:                                  /var/lib/clickhouse/data/default/months/all_1_4_1_6/
hash_of_all_files:                     2d0657a16d9430824d35e327fcbd87bf
hash_of_uncompressed_files:            84950cc30ba867c77a408ae21332ba29
uncompressed_hash_of_compressed_files: 1ad78f1c6843bbfb99a2c931abe7df7d
delete_ttl_info_min:                   1970-01-01 00:00:00
delete_ttl_info_max:                   1970-01-01 00:00:00
move_ttl_info.expression:              []
move_ttl_info.min:                     []
move_ttl_info.max:                     []

​

Veja também

• Família MergeTree
• TTL para colunas e tabelas