system.schema_inference_cache

Tabela de sistema com informações sobre todos os esquemas de arquivos em cache.

Consultas no ClickHouse Cloud

Os dados nesta tabela de sistema são mantidos localmente em cada nó do ClickHouse Cloud. Portanto, para obter uma visão completa de todos os dados, é necessário usar a função clusterAllReplicas. Consulte aqui para mais detalhes.

​

Descrição

Contém informações sobre todos os esquemas de arquivos em cache.

​

Colunas

• storage (String) — Nome do armazenamento: File, URL, S3 ou HDFS.
• source (String) — Origem do arquivo.
• format (String) — Nome do formato.
• additional_format_info (String) — Informações adicionais necessárias para identificar o esquema. Por exemplo, configurações específicas do formato.
• registration_time (DateTime) — Timestamp em que o esquema foi adicionado ao cache.
• schema (Nullable(String)) — Esquema em cache.
• number_of_rows (Nullable(UInt64)) — Número de linhas no arquivo no formato especificado. É usado para manter em cache o count() trivial de arquivos de dados e o número de linhas dos metadados durante a inferência de esquema.
• schema_inference_mode (Nullable(String)) — Modo de inferência de esquema.

​

Exemplo

Digamos que temos um arquivo data.jsonl com o seguinte conteúdo:

{"id" :  1, "age" :  25, "name" :  "Josh", "hobbies" :  ["football", "cooking", "music"]}
{"id" :  2, "age" :  19, "name" :  "Alan", "hobbies" :  ["tennis", "art"]}
{"id" :  3, "age" :  32, "name" :  "Lana", "hobbies" :  ["fitness", "reading", "shopping"]}
{"id" :  4, "age" :  47, "name" :  "Brayan", "hobbies" :  ["movies", "skydiving"]}

Coloque data.jsonl no diretório user_files_path. Você pode localizar esse diretório nos arquivos de configuração do ClickHouse. O padrão é:

<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>

Abra o clickhouse-client e execute a consulta DESCRIBE:

DESCRIBE file('data.jsonl') SETTINGS input_format_try_infer_integers=0;

┌─name────┬─type────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ id      │ Nullable(Float64)       │              │                    │         │                  │                │
│ age     │ Nullable(Float64)       │              │                    │         │                  │                │
│ name    │ Nullable(String)        │              │                    │         │                  │                │
│ hobbies │ Array(Nullable(String)) │              │                    │         │                  │                │
└─────────┴─────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

Vamos ver o conteúdo da tabela system.schema_inference_cache:

SELECT *
FROM system.schema_inference_cache
FORMAT Vertical

Row 1:
──────
storage:                File
source:                 /home/droscigno/user_files/data.jsonl
format:                 JSONEachRow
additional_format_info: schema_inference_hints=, max_rows_to_read_for_schema_inference=25000, schema_inference_make_columns_nullable=true, try_infer_integers=false, try_infer_dates=true, try_infer_datetimes=true, try_infer_numbers_from_strings=true, read_bools_as_numbers=true, try_infer_objects=false
registration_time:      2022-12-29 17:49:52
schema:                 id Nullable(Float64), age Nullable(Float64), name Nullable(String), hobbies Array(Nullable(String))

​

Veja também

• Inferência automática de esquema a partir dos dados de entrada