Как импортировать JSON в ClickHouse

Проблема При создании таблицы с помощью:

CREATE TABLE event(
    date Date,
    src UInt8,
    channel UInt8,
    deviceTypeId UInt8,
    projectId UInt64,
    shows UInt32,
    clicks UInt32,
    spent Float64
) ENGINE = MergeTree(date, (date, src, channel, projectId), 8192);

1

2

3

4

5

6

7

8

9

10

CREATE TABLE event(

date Date,

src UInt8,

channel UInt8,

deviceTypeId UInt8,

projectId UInt64,

shows UInt32,

clicks UInt32,

spent Float64

) ENGINE = MergeTree(date, (date, src, channel, projectId), 8192);

Необработанные данные выглядят так:

{ "date":"2016-03-07T10:00:00+0300","src":2,"channel":18,"deviceTypeId ":101, "projectId":2363610,"shows":1232,"clicks":7,"spent":34.72,"location":"Unknown", ...}
...

1 2	{ "date":"2016-03-07T10:00:00+0300","src":2,"channel":18,"deviceTypeId ":101, "projectId":2363610,"shows":1232,"clicks":7,"spent":34.72,"location":"Unknown", ...} ...

Файлы с данными, загружаемые следующей командой:

cat *.data|sed 's/T[0-9][0-9]:[0-9][0-9]:[0-9][0-9]+0300//'| clickhouse-client --query="INSERT INTO event FORMAT JSONEachRow"

1	cat *.data\|sed 's/T[0-9][0-9]:[0-9][0-9]:[0-9][0-9]+0300//'\| clickhouse-client --query="INSERT INTO event FORMAT JSONEachRow"

I create table with this statement:

CREATE TABLE event(
    date Date,
    src UInt8,
    channel UInt8,
    deviceTypeId UInt8,
    projectId UInt64,
    shows UInt32,
    clicks UInt32,
    spent Float64
) ENGINE = MergeTree(date, (date, src, channel, projectId), 8192);

1

2

3

4

5

6

7

8

9

10

11

CREATE TABLE event(

date Date,

src UInt8,

channel UInt8,

deviceTypeId UInt8,

projectId UInt64,

shows UInt32,

clicks UInt32,

spent Float64

) ENGINE = MergeTree(date, (date, src, channel, projectId), 8192);

Raw data looks like:…

Сисадмин

Как быстро установить WordPress на Ubuntu сервер

Быстро установить вордпресс на сервер можно, используя easyengine 1. Соединяемся с виртуальной машиной по ssh 2. Устанавливаем

apt-get update && apt-get upgrade

apt-get install -y sudo curl

1

2

3

apt-get update && apt-get upgrade

apt-get install -y sudo curl

3. Выполняем

wget -qO ee rt.cx/ee && sudo bash ee

1	wget -qO ee rt.cx/ee && sudo bash ee

или

curl -sL rt.cx/ee | sudo bash

1	curl -sL rt.cx/ee \| sudo bash

4. Устанавливаем вордпресс

sudo ee site create 8d9.ru --wpredis --php7 --letsencrypt

1	sudo ee site create 8d9.ru --wpredis --php7 --letsencrypt

Сисадмин

MySQL: как создать и импортировать базу данных из консоли

Создание

mysqldump -uroot -p123456 db_name > /path/to/folder/db_name.sql

1	mysqldump -uroot -p123456 db_name > /path/to/folder/db_name.sql

Создание архивированного дампа

mysqldump -uroot -p123456 db_name | gzip > /path/to/folder/db_name_$(date +%Y-%m-%d-%H.%M.%S).sql.gz

1	mysqldump -uroot -p123456 db_name \| gzip > /path/to/folder/db_name_$(date +%Y-%m-%d-%H.%M.%S).sql.gz

Импорт архивированого дампа

zcat /path/to/folder/db_name.gz | mysql -uroot -p123456 db_name

1	zcat /path/to/folder/db_name.gz \| mysql -uroot -p123456 db_name

Сисадмин

Redis: Как очистить кэш из консоли

echo -e "select 0\n flushdb\n select 1\n flushdb\n" | redis-cli

1	echo -e "select 0\n flushdb\n select 1\n flushdb\n" \| redis-cli

Сисадмин

Как очистить кэш в Linux | Ubuntu | Debian | Centos

# pagecache:

echo 1 > /proc/sys/vm/drop_caches

1	echo 1 > /proc/sys/vm/drop_caches

# dentries + inodes:

echo 2 > /proc/sys/vm/drop_caches

1	echo 2 > /proc/sys/vm/drop_caches

# pagecache + dentries + inodes:

echo 3 > /proc/sys/vm/drop_caches

1	echo 3 > /proc/sys/vm/drop_caches

# linux

free && sync && echo 3 > /proc/sys/vm/drop_caches && free

1	free && sync && echo 3 > /proc/sys/vm/drop_caches && free

# ubuntu

echo 3 | sudo tee /proc/sys/vm/drop_caches

1	echo 3 \| sudo tee /proc/sys/vm/drop_caches

Сисадмин

Как узнать в linux диск ssd или hhd

Первый способ

lsblk -d -o name,rota

1	lsblk -d -o name,rota

Второй способ

cat /sys/block/sda/queue/rotational

1	cat /sys/block/sda/queue/rotational

Если напечатается 1 — это hhd, если 0 — это ssd.

Сисадмин

Как узнать информацию о процессоре в линукс

less /proc/cpuinfo

1	less /proc/cpuinfo

Сисадмин

Как найти большие папки и файлы в linux

# найти большие папки

du -hsx * | sort -rh | head -10

1	du -hsx * \| sort -rh \| head -10

du -kx | egrep -v "\./.+/" | sort -n

1	du -kx \| egrep -v "\./.+/" \| sort -n

# найти большие папки и файлы

du -a / | sort -n -r | head -n 10

1	du -a / \| sort -n -r \| head -n 10

# найти папки больше 1 Гб в текущей директории

du -skh * | sort -h | tail -10 | grep G

1	du -skh * \| sort -h \| tail -10 \| grep G

Сисадмин

Mysql: каким запросом можно узнать размер базы данных

SELECT table_schema "database_name", sum( data_length + index_length )/1024/1024 "Data Base Size in MB" FROM information_schema.TABLES GROUP BY table_schema;

1	SELECT table_schema "database_name", sum( data_length + index_length )/1024/1024 "Data Base Size in MB" FROM information_schema.TABLES GROUP BY table_schema;

Сисадмин

Как запустить Worksnaps после старта Ubuntu

Нужно добавить в автозагрузку баш-файл, содержащий:

#!/bin/bash

cd /opt/Worksnaps/bin && nohup ./run.sh 0<&- &>/dev/null &

1

2

3

#!/bin/bash

cd /opt/Worksnaps/bin && nohup ./run.sh 0<&- &>/dev/null &

Сисадмин

Ошибка 0xc000007b при запуске приложения

В операционной системе Windows каждая программа при запуске выполняет множество запросов, а точнее это делает исполняемый файл. Он обращается к системным процессам, собственным файлам и библиотекам и таким образом, собрав…