[태그:] list

Postgresql 명령어 정리

Postgresql 의 명령어를 간단히 정리해보겠습니다.

항상 잊어버리는 명령어를 기록해두기위한 차원입니다.

console 접속

$ psql database_name

접속 종료

-# \q

database list

-# \l

database create

CREATE DATABASE sentry WITH ENCODING='UTF8' OWNER=postgres;

database select

-# \c database_name

사용자 목록 표시

-# \du

Role 생성

-# CREATE ROLE <role name> WITH LOGIN;

Role 추가

ref: PostgreSQL: Documentation: 8.1: ALTER ROLE

-# ALTER ROLE <role name> WITH LOGIN CREATEDB;

Column 추가

phone 컬럼 추가: not null, default 값은 false

database_name-# ALTER TABLE users ADD COLUMN phone boolean not null default false;

Column 삭제

database_name-# ALTER TABLE users DROP COLUMN phone;

Constraint 추가

ALTER TABLE app_config
    ADD CONSTRAINT ukey_app_config_app_id UNIQUE (app_id);

Constraint 삭제

ALTER TABLE app_config
    DROP CONSTRAINT ukey_app_config_app_id;

table list

database_name-# \d

현 database의 모든 index list

database_name-# \di

특정 테이블 정보 보기

users 테이블 정보 보기

database_name-# \d users

database dump

pg_dump 데이터베이스명 > 파일명.dump

$ pg_dump -Fc dbname > outfile

database restore

$ pg_restore --clean database_name my.dump

상세

  • —clean: database를 깨끗히 날리고 새로 생성
  • —no-owner: 소유자 정보는 복원할때 포함하지 않음
  • -h: host name
  • -U: user name
  • -d: database name
$ pg_restore --verbose --clean --no-owner -h localhost -U postgres -d database_name my.dump

sql file execute

  1. Shell 
$ psql -U username -d myDataBase -a -f myInsertFile
  1. cli 
\i path_to_sql_file

iptables 명령어

iptables 명령어

현재 목록 확인

$ sudo iptables -L

규칙 추가

$ sudo iptables -A INPUT -s 127.0.0.1 -p icmp -j DROP

설명: 들어오는 패킷이 127.0.0.1 의 아이피를 가지고 있고 protocol 이 icmp 면 버려라.

 

번호 확인

$ sudo iptables -L --line-numbers

삭제

$ sudo iptables -D INPUT 3

#iptables #command

[AWS] Amazon web service 의 서비스 간단 정리

AWS 서비스 정리

AWS를 공부해야겠다고 마음먹고 AWS를 막상 시작하려고 하면,
그 방대한 사이즈에 지래 겁을 먹게 됩니다.
또한 AWS의 어떤 특정 기능에 대해 찾아보려고 하면 또다른 AWS서비스들이 연계되어서 다시 리서치를 해야하는 번거로움에 빠지게 됩니다.

이에 저의 고생을 경험삼아 다른분들의 고생을 미리 방지하고자 사람들을 위해 AWS 서비스를 간단하게 정리했습니다.

EC2(Amazon Elastic Compute Cloud)

VM기반의 컴퓨팅 자원을 제공하는 서비스
일반적인 클라우드 서버 인스턴스를 의미

Instance Family Current Generation Instance Types
General purpose t2.nano, t2.micro, t2.small, t2.medium, t2.large, t2.xlarge, t2.2xlarge, m4.large, m4.xlarge, m4.2xlarge, m4.4xlarge, m4.10xlarge, m4.16xlarge, m3.medium, m3.large, m3.xlarge, m3.2xlarge
Compute optimized c4.large, c4.xlarge, c4.2xlarge, c4.4xlarge, c4.8xlarge, c3.large, c3.xlarge, c3.2xlarge, c3.4xlarge, c3.8xlarge
Memory optimized r3.large, r3.xlarge, r3.2xlarge, r3.4xlarge, r3.8xlarge, r4.large, r4.xlarge, r4.2xlarge, r4.4xlarge, r4.8xlarge, r4.16xlarge, x1.16xlarge, x1.32xlarge
Storage optimized d2.xlarge, d2.2xlarge, d2.4xlarge, d2.8xlarge, i2.xlarge, i2.2xlarge, i2.4xlarge, i2.8xlarge, i3.large, i3.xlarge, i3.2xlarge, i3.4xlarge, i3.8xlarge, i3.16xlarge
Accelerated computing p2.xlarge, p2.8xlarge, p2.16xlarge, g2.2xlarge, g2.8xlarge
  1. T2는 웹서버, 데이터 베이스에 사용하기 좋음, 순간 확장용으로 적합
  2. M3는 SSD 스토리지 사용
  3. C4는 CPU를 많이 쓰는 서비스에 적합 -> ssd도 필요하면 C3
  4. X1, R3은 메모리가 많이 필요한 서비스에 적합(빅데이터 치리 엔진, Apache Spark, Presto)
  5. P2, G2는 GPU 계산에 특화 (머신러닝)
  6. I3는 스토리지에 최적화 (높은 I/O가 필요한 작업)

EBS(Elastic Block Store)

EC2 인스턴스에 사용할 영구 블록 스토리지 볼륨을 제공
Amazon EBS 볼륨은 워크로드 실행에 필요한 지연 시간이 짧고 일관된 성능을 제공 -> S3와의 큰 차이점

그러나 S3에 비해 비쌈

EIP(Elastic IP)

EC2인스턴스를 생성하고 주는 IP는 고정IP가 아닌 유동IP
인스턴스를 재시작하면 IP가 변경됨
고정아이피 서비스 -> EIP

ELB(Elastic Load Balancing)

EC2를 대상으로한 요청을 여러대의 EC2 인스턴스로 자동으로 분배해주는 기능
이전엔 L4/L7 로드 밸런서를 이용하던 기능을 간단한 WEB UI로 손쉽게 이용가능

로드 밸런서는 EC2의 작동 상태를 확인하여 정상적으로 작동하고 있는 인스턴스만을 대상으로 요청을 분배함

Sticky Session을 이용하면 로드밸런싱을 해줄 때 사용자의 쿠키 세션을 이용해여 요청 분배작업을 수행, 초기 접속 인스턴스로 연결 시켜줌

Key Pairs

AWS ssh접속은 public/private 키를 이용하여 접속
각각의 key pair에는 이름이 필요하고, 이름은 publickey와 연결됨

Security Group

EC2에서 일종의 방화벽 처럼 사용됨
inbound/outbound traffic에 대해 port별로 접근 제어할 수 있는 기능 제공
호스팅 환경에서 DMZ와 같은 개념 구현 가능

S3 (Simple Storage Service)

웹 인터페이스를 통해 데이터를 저장 및 검색할 수 있는 스토리지
RRS(Reduced Redundancy Storage) 옵션으로 데이터 손실 위험도를 더 올리고 가격을 저렴하게 사용가능

Bucket

데이터를 저장하기 위한 Amazon S3의 기본 컨테이너
버킷에 데이터를 무한정으로 저장 가능

Snapshot

EBS 볼륨 전체의 내용 중 특정 시점을 파일로 저장한 형태 (EBS 볼륨 백업)

VPC(Virtual Private Cloud)

AWS에서 가상사설망을 만들어줄수 있게 해주는 서비스
이 서비스 전에는 EIP이외에는 정적 서비스를 사용할 수 없었음(ex> 10.x.x.x같은 사설 ip 사용하지 못했으나, VPC를 통해 가능해짐)

Lambda

서버없이 특정 이벤트 발생시 코드 실행을 시켜주고, 이에 대한 비용만을 지불하는 AWS의 서비스
런타임으로 Java, nodejs, python, C# 사용가능

Blue Print라는 코드 템플릿을 선택해서 사용가능하다

Route 53

AWS의 Domain Name Service 이다.
ELB(로드 밸런서)를 사용할 때 함께 사용하는 서비스

라우팅 정책

  1. 단순 라우팅
    하나의 인스턴스 사용
  2. 가중치 기반 라우팅
    다수의 리소스를 하나의 DNS와 연동 가능하나, 각 리소스에 가중치 부여 가능

    리소스 3개 -> 가중치 1,1,3 부여했을 경우
    DNS요청시 1로 설정된 리소스는 5번중 한번, 3으로 설정된 리소스는 5번중 3번 반환

  3. 지연 시간 라우팅
    지연시간이 가장 낮은 인스턴스 선택

  4. 지리적 라우팅
    사용자의 지역에 따라 인스턴스 선택 -> Localization 가능

ElastiCache

클라우드에서 In Memory Data Store로 사용 하거나, 캐시를 손쉽게 배포, 운영, 확장할 수 있게 해주는 웹서비스

  1. Redis
    Redis용 ElastiCache는 확장 가능(최대 15개의 샤드 클러스터 지원 3.55TiB)
  2. Memcached
    ElastiCache는 Memcached와 프로토콜 호환. 기존 환경에서 사용하는 도구를 손쉽게 사용 가능

CloudFront

AWS에서 제공하는 CDN서비스
이미지, 오디오, 비디오 및 일반 웹 페이지 등을 최종 사용자에게 빠르게 제공
에지 로케이션(Edge Location)이라는 일종의 캐시서버를 이용하여 지연시간 단축

IAM(Identity and Access Management)

AWS 계정의 암호나 액세스 키 공유없이 다른 계정에 권한 부여 가능

  1. 리소스에 따른 계정 권한
  2. 읽기 쓰기 권한 등.. -> 차등 권한 부여 가능

사용자

AWS의 서비스 계정으로 간주하면 됨

윈도우즈를 사용할 때 여러 계정을 만들 수 있는 것과 같은 이치

ARN(Amazon Resource Name)

아래 형태로 사용

arn:aws:iam::account-ID-without-hyphens:user/Bob

그룹

IAM사용자들의 집합체
but 리눅스의 group개념과는 다른 그냥 여러 사용자들에게 한번에 정책을 연결하는 수단일 뿐

역할

사용자와 유사
_but 역할은 한 사람과만 연관되지 않고 그 **역할이 필요한 사람이면 누구든지 맡을 수 있도록 고안**_

CodeCommit

프라이빗 Git 리포지토리를 손쉽게 운영할 수 있는 서비스
가격이 싸다

SNS(Simple Notification Service)

푸시 알림 서비스로서, 개별 메시지를 전송하거나 대규모의 수신자에게 메시지를 전송 가능
Baidu Cloud Push를 통해 Android, Apple, Google, Fire OS, Windows 디바이스에도 알림 전송 가능
Amazon Simple Queue Service(SQS), AWS Lambda 함수 또는 모든 HTTP 엔드포인트에도 메시지를 전송 가능

토픽(Topic)

여러 개의 엔드포인트를 그룹으로 만든 것. 토픽을 구독한 모든 엔드포인트로 알림 전송

SQS(Simple Queue Service)

메시지를 저장하는 대기열에 대한 액세스를 제공하는 웹 서비스

메시지 큐

대기열 유형

  1. 표준 대기열
    기본 대기열, 메시지가 1개 이상 전달될 수 있으며 순서 또한 바뀔 수 있음
    무제한의 초당 트랜잭션 수 제공
  2. FIFO 대기열
    순서 및 메시지 단일 전달 보장
    초당 트랜잭션 수가 300개 제한

CloudWatch

AWS 클라우드 리소스와 AWS에서 실행되는 애플리케이션을 위한 모니터링 서비스
자동으로 EC2 인스턴스를 모니터링
1. Auto Scaling Group
2. Elastic Load Balancer
3. Route 53

메트릭(Metric)

AWS 시스템의 퍼포먼스에 관한 데이터들을 뜻함

기본적으로 제공하는 CloudWatch의 모니터링 기능은 이 메트릭을 이용해서 보여진다(EC2, ELB등의 기본 서비스 관련 정보등..)
사용자가 커스텀 메트릭 생성가능

상태는 3가지

  1. OK
    정의된 임계치 안, 현재 정상
  2. Alarm
    정의된 임계치 상회, 비정상
  3. Insufficient
    데이터 불충분으로 상태 판독 불가

Auto Scaling

Auto Scaling이란?

EC2 인스턴스를 자동으로 생성하고 삭제해주는 서비스

Launch Configuration

Auto Scaling을 할 때 사용하는 설정값

어떤 이미지(AMI)를 어떤 인스턴스 타입(EC2)으로 스토리지(EBS) 및 보안설정(SG)과 함께 사용할 것인가를 선택

ex> Linux AMI 이미지를 t2.micro로 EBS 20G와 함께 port 80번만을 열어서 실행한다.

AutoScaling Groups

위의 설정값을 사용해서 실제 Auto Scaling을 수행하기 위한 Grouping

어떤 설정값으로, 어떤 네트워크에, 어떤 정책(인스턴스를 추가하고 제거하는 방법 등의 정책)을 이용해서 오토 스케일링을 할 것 인가에 대한 설정

ex> ASG을 통해서 생성된 EC2 인스턴스들의 CPU 점유율이 평균 80%가 5분동안 넘을 때 EC2 인스턴스를 현재의 2배씩 증가 시킨다

OpsWorks

서버 구성을 자동화 플랫폼 Chef를 사용해서 하는 관리 서비스
어플리케이션과 서버 관리를 용의하게 해줌

  1. OpsWorks Stacks
  2. AWS OpsWorks for Chef Automate

OpsWorks Stacks

OpsWorks 개념도

위의 개념도를 참고.

Stack > Layer > Instance > App

Stack

스택은 OpsWorks에서 최상위 단위
스택안에 여러 개의 레이어가 포함가능함

Layer

EC2 인스턴스 생성을 위한 틀(탬플릿의 개념)
OpsWorks 내장으로 Rails with Passenger, Java with Tomcat, Nodejs, RDS 등을 기본으로 지원하고, Custom하게 만들 수도 있음

내장 탬플릿으로 레이어를 생성하면 AWS에서 지원하는 Chef 레시피(Recipe)들이 기본적으로 들어가있다.(Chef 12의 경우는 없다고 하는데 실행해보지는 않음)

Opsworks Lifecycle Events

각 Layer들은 5개의 이벤트를 가지고 있음, 이벤트 발생시 각 이벤트마다 등록된 레시피(Recipe)가 실행됨

  1. Setup
    인스턴스 부팅이 완료된 후 발생
    수동으로 이벤트 발생 가능
    명렁 참고

  2. Configure
    스택의 모든 인스턴스들 중 어느 하나라도 아래 상황 중 하나의 경우에 해당할 경우, 모든 인스턴스에게 발생함

    • 인스턴스가 온라인 상태가 되었거나, 온라인 상태에서 벗어날때(leave the online)
    • 인스턴스가 EIP가 할당되거나, 할당이 취소될 때
    • ELB를 레이어에 연결하거나, 연결해제 할때
  3. Deploy
    Deploy Command를 실행했을 때 발생
    Setup이 완료된 후에 Deploy 레시피가 실행됨

  4. Undeploy
    앱을 지웠거나 Undeploy 명령을 실행 했을 때 발생

  5. Shutdown
    Opsworks에서 인스턴스를 종료하고, 실제로 EC2인스턴스가 종료하기전에 발생
    인스턴스를 리부팅할때는 어떤 이벤트도 발생하지 않음

AWS OpsWorks for Chef Automate

Chef Automate를 AWS에서 손쉽게 이용할 수 있는 서비스
현재(2017년 5월) US East (Northern Virginia), US West (Oregon) 및 Europe (Ireland) 지역에서만 이용 가능

Habitat(앱 빌드 및 패키징 자동화), InSpec(컴플라이언스 자동화)과 Chef를 함께 사용하는 CI(지속적 통합)서비스

Chef Automate AWS 블로그

KMS (Key Management Service)

데이터를 암호화할 때 사용하는 암호화 키를 쉽게 생성하고 제어할 수 있게 해주는 관리형 서비스

AWS product category AWS services integrated with KMS
Compute Amazon Lightsail*, Amazon EC2 SSM*, AWS Lambda
Storage & Content Delivery Amazon S3, Amazon EBS, AWS Import/Export Snowball, AWS Storage Gateway
Databases Amazon RDS, Amazon Redshift, AWS Database Migration Service
Developer Tools AWS CodeCommit*
Management Tools AWS CloudTrail
Analytics Amazon EMR, Amazon Kinesis Firehose
Application Services Amazon Elastic Transcoder, Amazon SES
Enterprise Applications Amazon WorkSpaces, Amazon WorkMail

KMS는 AWS SDK, the AWS Command Line Interface, RESTful API와 통합해서 사용

CloudTrail

  • CLoudTrail은 AWS 계정 사용에 대한 관리, 운영 감사, 취약점 감사등을 도와주는 서비스
  • AWS상의 서비스에 대한 로그, 지속적 모니터링, api사용 관련 이벤트등 제공

결론

AWS에는 훨씬 더 많은 서비스들이 존재하고 앞으로도 계속 생길 것입니다.
이번 AWS Summit 2017 in Seoul 도 참여 했었는데 새로운 서비스들이 등장하더군요.

AWS 자격증도 있던데 2년마다 갱신되고 상당히 힘들어보였습니다.
관심있으시면 한번 도전해보세요.

[adsense2]

[golang] Go언어 시작하기 – 배열(array)과 슬라이스(slice)

배열(array)과 슬라이스(slice)

Go언어에 배열과 슬라이스에 대해 알아보겠습니다.
Go언어는 많은 객체 지향 언어에서 기본으로 지원하는 list타입이 없고, 배열과 슬라이스가 존재합니다.
배열을 선언하는 법은 먼저 배열의 길이를 선언하고, 타입(type) 뒤에 초기화 할 값을 넣어줍니다.

배열 선언

array := [5]int{1,2,3,4,5}
array := […]int{1,2,3}

위의 형태로 사용합니다.
Go언어는 일반적으로 알고 있는 (C, Java와 같은) 언어들과 type declaration Syntex가 반대입니다.

golang의 syntex에 대한 설명은 아래 링크를 참고하시면 됩니다.
golang syntex에 대해

위의 배열 선언 코드를 보면 익숙하지 않는 연산자가 나옵니다.

:-

위의 연산자는 변수의 선언과 할당을 동시에 할때 사용하는 연산자로 Go언어에서 자주 쓰입니다.
앞으로 Go언어에 대한 코드를 볼때 자주 접하게 될겁니다.

슬라이스 선언

slice := []int

slice는 동적 배열의 개념으로 만들어진 것으로 빠르고 효과적으로 배열의 크기를 늘리거나 줄일 수 있습니다.
append라는 내장 함수를 이용해서 데이터를 추가 할 수 있으며, 아래 보이는 형태를 이용해서 slice를 쉽게 잘라낼 수도 있습니다.

slice := []int{1,2,3,4}
newSlice := append(slice, 5) // newSlice는 [1,2,3,4,5]
newSlice2 := slice[1:2] // newSlice2는 [2,3]

위의 두 가지를 보면 배열과 슬라이스의 차이를 명확하게 알수 있습니다.
배열은 사이즈를 정확히 지정해야하고, 슬라이스는 사이즈를 지정할 필요가 없습니다.
즉, 사이즈를 지정하면 배열로 선언이 되고, 사이즈를 지정하지 않는다면 슬라이스로 선언이 되는 것입니다.

슬라이스(slice)의 특징

슬라이스의 특징을 알아보기 위해 슬라이스의 주소값을 출력하는 샘플코드 입니다.

package main

import (
"fmt"
)

func testArray(array [5]int) {
fmt.Printf("in testArray() func %p\n", &array)
}

func testSlice(slice []int) []int {
fmt.Printf("in testSlice() func %p\n", slice)
return append(slice, 6)
}

func main() {
array := [5]int{1, 2, 3, 4, 5}
fmt.Printf("origin ptr: %p\n", &array)
testArray(array)

// 배열을 슬라이스로 변환, 메모리 주소는 현재까지 동일함
slice := array[:]
fmt.Printf("%v, %p\n", slice, slice)

slice2 := testSlice(slice)
// 메모리가 변함. 새로 할당 한 듯
fmt.Printf("%v, %p\n", slice2, slice2)

// 이후부터는 같음
slice2 = append(slice2, 7)
fmt.Printf("%v, %p\n", slice2, slice2)

}

처음 배열을 선언하고 메모리 주소를 확인하고, 이후 슬라이스로 변환하고, 슬라이스의 데이터를 변환하면서 주소를 확인해 가는 코드입니다.
output

origin ptr: 0xc420012180
in testArray() func 0xc4200121b0
[1 2 3 4 5], 0xc420012180
in testSlice() func 0xc420012180
[1 2 3 4 5 6], 0xc420016140
[1 2 3 4 5 6 7], 0xc420016140

실행결과는 위와 같습니다.
간단히 해석하자면,

origin ptr: 0xc420012180
in testArray() func 0xc4200121b0

함수 실행시 넘긴 배열인자의 주소를 확인한 결과 주소가 변했습니다.
이 경우는 callbyvalue로 함수를 호출하게 되어 배열를 deep copy하므로 주소가 변한 것입니다.
배열과 슬라이스의 callbyvalue, callbyreference에 대한 내용은 아래에서 다른 예제코드로 보도록 하겠습니다.

[1 2 3 4 5], 0xc420012180
in testSlice() func 0xc420012180

슬라이스로 변환한 결과 배열과 주소는 동일합니다.
이 경우는 결국 타입만 변경된 것입니다.
실제 주소는 같습니다. 결국 내부 데이터를 array에서 바꾼다고 하면, slice의 값도 변할 것입니다.

[1 2 3 4 5 6], 0xc420016140
[1 2 3 4 5 6 7], 0xc420016140

여기서 부터 재미있습니다.
testSlice(...) 함수를 호출했을 때 내부에서 append라는 내장 함수를 호출합니다.

append는 slice에 값을 추가할 때 사용하는 내장함수로 len, cap등과 함께 자주 접하게 될 것입니다.

append함수를 호출하고 return을 하게 되면 새로운 slice가 반환하게 됩니다.

[1 2 3 4 5 6], 0xc420016140

보면 주소가 변경 되었다는 것을 알수 있습니다.
그런데!!, 두번째 append호출했을 때는 주소가 그대로 인 것을 알 수 있습니다.

[1 2 3 4 5 6 7], 0xc420016140

slice는 기본적으로 length와 capacity를 가지고 있는데, 이것에 대한 상세한 설명은 두개의 링크로 대신합니다.

Go Slices: usage and internals
Arrays, slices (and strings): The mechanics of ‘append’

배열(array)과 슬라이스(slice)의 차이점

  • Call by value
  • Call by reference

둘의 가장 큰 차이점입니다.
배열은 인자(argument)로 받을 경우 callbyvalue로,
슬라이스는 callbyreference로 받게 됩니다.

이 것을 눈으로 확인해보기 위해 간단한 샘플코드를 만들었습니다.

func testArray(array [1e7]int)
* 천만개의 배열을 복사

func testSlice(slice []int)
* 포인터만 복사
callbyvalue와 callbyreferrence를 단순비교하기 위해서는
위의 샘플코드처럼 배열과 슬라이스의 주소를 확인하기면 하면 되지만,
배열과 슬라이스를 함수에서 사용할 때 둘 사이의 차이를 쉽게 느껴보고자 아래 코드를 만들었습니다. 

package main

import (
"fmt"
"time"
)

func callByValue(array [1e7]int) int64 {
return time.Now().UnixNano() / int64(time.Millisecond)
}

func callByReference(slice []int) int64 {
return time.Now().UnixNano() / int64(time.Millisecond)
}

func main() {
array := [1e7]int{}

t := time.Now().UnixNano() / int64(time.Millisecond)
t2 := callByValue(array)
fmt.Printf("call by value elapsed time : %f\n", float32(t2-t)/1000)

t = time.Now().UnixNano() / int64(time.Millisecond)
slice := array[:]
t3 := callByReference(slice)
fmt.Printf("call by reference elapsed time : %f\n", float32(t3-t)/1000)

}

output

call by value elapsed time : 0.043000
call by reference elapsed time : 0.000000

큰 배열을 인자로 넘겨야하는 경우, 배열은 전체복사가 된다는 점을 알고 있어야 합니다.

여기까지가 배열과 슬라이스에 대한 간단한 정리였습니다.