본문 바로가기

분류 전체보기

 (78)
도커 명령어와 컴포즈 About Docker Command and Compose. ps 명령어 docker ps # 현재 실행 중인 컨테이너 docker ps -a # 중지된 컨테이너까지 전부 stop 명령어 docker stop [OPTIONS] CONTAINER [CONTAINER...] # 실행중 컨테이너 중지, 복수 개 가능 rm 명령어 docker rm [OPTIONS] CONTAINER [CONTAINER..] # 종료된 컨테이너까지 제거 logs 명령어 docker logs [OPTIONS] CONTAINER # 컨테이너 정상 동작하는지 확인을 위해 로그를 확인 # -f 로그생성 대기 # images 명령어 docker images [OPTIONS] [REPOSITORY[:TAG]] # 도커가 다운로드한 이미지 ..
도커의 설치와 실행 도커의 설치 도커는 linux를 지원하기에 다른 운영체제에서 설치되는 Docker는 가상머신에 설치된다. window에서는 hyper-v 혹은 wsl2 환경에서 사용이 가능하며, wsl2 환경 하에. 커맨드 콘솔은 powershell을 써도되지만 window terminal를 사용하는 것을 추천한다. 클라이언트 - 서버 구조 Docker CLI는 도커 호스트에게 명령을 전달하고 host에서 결과를 받아서 출력한다. 컨테이너 실행 - run docker run [OPTIONS] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] OPTION에 들어가는 명령어 -d 백그라운드 모드 -p 호스트와 컨테이너의 포트 연결 -v 호스트와 컨테이너의 디렉토리 연결 -e 컨테이너 내에서 사용할 환경변..
[OS] Virtual Memory Background Virtual Memory 프로그램이 피지컬 메모리보다 클 경우에도 프로세스가 실행되도록 하는 테크닉 Virtual Address Space Virtual Memory 장점 여러 프로세스가 page를 공유 할 수 있다. Demand Paging 프로그램(하드웨어)가 실행되어 프로세스(메모리)로 바뀌는 내부동작 저장소에서 메모리로 올라간다 모든내용을 피지컬메모리에 올리지 않는다.(아두이노 등 제외) page로 분할 시키고 요청 될 때만 부분만 올린다(=demand paging) Page Fault 프로세스의 일부(page)가 시작을 하기전 page table을 확인한다 프로세스의 원하는 페이지가 메모리에 있는지 확인한다 만약 invalid하다면, page를 메모리에 넣어줘야한다 free..
[Tableau] 차트 그리기 기본 Bar Chart Basic 행 : 판매 금액 열: 지역 자동으로 지역 별 판매 금액 합계로 집계가 된다. 기본 데이터 목록이있는 사이드 바에서, 합계(측정값)와 지역(디멘전)을 가지고 각 행과 열에 배분을 하면 자동으로 바 그래프가 생성된다. 5번 박스 위에서 다양한 그래프로 변경 가능하다. 기존에는 행으로 가져온 합계라는 데이터의 수치가 왼쪽에 0~MAX으로 경계값이 표시되야 하지만, 1번 박스 합계를 눌러 머릿말 숨기기를 하면 사라진다. 이때 각 바의 정확한 수치를 알기위해서 2번 박스 레이블을 눌러주면 각 바의 정확한 수치가 달린다. 3번 4번 버튼 밑의 격자와 줄 표시에서 불필요한 참조선과 기준선을 사용자 정의대로 바꿀수 있다. 5번 버튼의 색상에서 원하는 색깔 불투명도 테두리 등으로 시각화를 ..
좋은 글이란 무엇인가? 내가 생각하는 좋은 글이란 배경과 지식이 상이하더라도 술술 읽히는 글이다. 잎이 침엽수면 소나무다.(x) 잎은 침엽수로 뾰족하고, 겨울에도 항상 초록색을 유지하는 상록수의 특징과 거북이 같은 껍질을 가지고 있으면 소나무다.(o) 대상에 대해 자세한 묘사를 통해 이해도를 높이는 과정이 있어야한다. 소나무를 잘 아는 사람은 두 문장이 무엇을 말하는지 파악할 수있지만, 배경지식이 없는 사람에게 첫번째문장과 두번째문장은 전혀 다른 의미일것이다. (물론 가능한 미사여구를 제거하며 컴팩트하게 작성하는 것을 전제로 한다) 누가 읽더라도 질적으로 부족하지않은 내용을 전달해야만, 그 안에 내가 전달하고자 하는 바를 온전히 전달할 수 있다 나는 글을 잘 쓰고 있는가? 아니다. Notion에 메모를 하면서 10문장을 한 문..
도커란? 서버를 관리한다는 것 새로운 설치 프로그램들 계속해서 바뀌는 서버 환경 & 개발 환경 도커를 통해 쉽게 관리하자 간단한 실행 docker-compose up CLI로 간단하게 저장한 이미지를 실행한다. 전통적인 서버관리 방식 Add user → system Env → Firewall →network → dependencies → python → git clone → package → configuration → migration → proxy → run 도커에서는? 어떤 프로그램이던 컨테이너화 하자 가상머신처럼 독립적이고, 가상머신보다 빠르고 쉽고 효율적입니다. 과거 서버를 운영하기 위한 노력 문서화(ppt txt 등) 상태관리 도구(코드로 관리, 러닝커브, 다양한 버전 설치) 가상머신(여러개 설치 쉽고..
[Tableau] 데이터 준비하고 시작하기 데이터소스와 연결 다양한 로컬환경 or 서버에서 플러그인이 가능한 DB들에서 가져오며 이외에도 ODBC를 통해 데이터를 구축할 수 있다. 단일 테이블이 아니고, 복수의 테이블을 가져오면 관계형 혹은 조인형식으로 데이터를 꾸린다. 라이브 연결 방식 실시간으로 데이터를 가져올 수 있다, 대신에 특정 함수 등 전처리면에서 자유도가 떨어질 수 있다. 추출 연결 방식 최단 15분 단위로 데이터를 가져오며, 태블로 서버 내에 DB를 복사하기 때문에 모든 작업이 가능하다. 데이터 원본 필터 전체 데이터를 시각화할 필요가 없을 때 사용하면서 퍼포먼스를 올린다. ex)Date라는 컬럼의 2020년도 데이터부터 가져오기 데이터 시각화 시작하기 ‘차원 & 측정값 ‘으로 시각화를 구성한다 차원 어떠한 관점으로 바라볼것인가(e..
빅데이터를 지탱하는 기술 - Chapter6 빅데이터 분석 기반의 구축 스키마리스 데이터의 애드 혹 분석 주피터와 Spark에 의한 애드 혹 분석의 예시를 설명한다. 분산스토리지는 MongoDB로 JSON 데이터를 가공 집계 시각화한다. 스키마리스 데이터 수집 MongoDB에 JSON형식의 데이터를 구축 해놓는다 대화식 실행 환경의 준비 주피터 노트북을 가동하여, MongoDB에 있는 데이터를 가져와 데이터 프레임 형식으로 전환한다. 환경을 구축할 때 도커를 통해 가상머신을 구축하면 편하다. Spark에 의한 분산 환경 데이터양의 증가에 따라, Spark를 사용하여 분산 처리한다. pyspark의 실행으로 대화식으로 실행. Spark는 마스터/슬레이브 형의 분산 시스템으로 클라이언트로부터 마스터에 명령을 보냄으로서 프로그램 실행하며, 클라이언트를 드라이버 프로그램이라고 부른..

티스토리툴바