Python에서 Pandas를 이용해 데이터 가공
·
Python
import os.pathimport pandas as pddf = pd.read_csv(os.path.join("./Titanic.csv"))pd.set_option('display.max_rows', None) # 불러온 데이터 값에서 최대 행 표시 제한 xpd.set_option('display.max_columns', None) # 불러온 데이터 값에서 최대 열 표시 제한 xpd.set_option('display.expand_frame_repr', False) # 데이터 출력할 때 행이 길어지면 줄바꿈 xdef change_value(row): # 성별을 판별하기 위해 if row["Sex"] == "male": row["Sex"] = 1 else: row["..
25.10.16 요약
·
AWS 광주 개발일지(25.08.19~25.01.20)/교육 25년 10월 일지
EKS Packaging -> Distribution -> Immutable Infrastructure Registry컨테이너 이미지 저장소 컨트롤 플레인 (마스터노드)Deploy, Scheduling, Scaling, 컨테이너 응용 프로그램의 관리 데이터 플레인 (워커노드)컨테이너의 실행 환경 kubectl 명령어getcreatedescribedeleteapply etc리소스 종류PodReplicasetDeploymentJobCronJobStatefuleSetpod의 컨테이너는 localhost에서 통신 가능 Replicasetcount =3 -> pod가 3개 생성 Deployment -> replicaset 을 통합 관리 해줌 Deamon..
25.10.15 요약
·
AWS 광주 개발일지(25.08.19~25.01.20)/교육 25년 10월 일지
Kubernetes -> Container Orchestration Tool master node -> 3중화 구성해 가용성을 높임.worker node -> 마스터 노드에서 명령을 내리고 실제로 일하는 곳. 참고 사이트 : https://kubernetes.io/docs/concepts/overview/ OverviewKubernetes is a portable, extensible, open source platform for managing containerized workloads and services, that facilitates both declarative configuration and automation. It has a large, rapidly growing ecosystem. K..
AWS Docker 실습
·
AWS
EC2 생성 연결 후에 아래의 링크에서 도커 설치 https://docs.aws.amazon.com/ko_kr/AmazonECS/latest/developerguide/create-container-image.html Amazon ECS에서 사용할 컨테이너 이미지 생성 - Amazon Elastic Container Service경우에 따라서는 ec2-user가 Docker 대몬에 액세스할 수 있는 권한을 제공하기 위해 인스턴스를 재부팅해야 할 수도 있습니다. 다음 오류가 표시될 경우 인스턴스를 재부팅합니다. Cannot connect to the Ddocs.aws.amazon.com docker search 명령어docker search ubuntu docker search nginx 이미지 파일을..
25. 10. 13 요약
·
AWS 광주 개발일지(25.08.19~25.01.20)
Linux Containerchroot : root 디렉토리 변경cgroup : 자원에 대한 제어namespace : 독립적 공간 제어Kernel : 자원을 할당하고 제어해주는 기능을 담당 물리자원 : cpu / mem / net / disk 1️⃣ System Call (시스템 콜)운영체제(OS)의 커널(kernel) 에 직접 요청을 보내는 인터페이스🔹 개념응용 프로그램이 OS 커널의 서비스를 요청하는 통로즉, 사용자 영역(user mode) → 커널 영역(kernel mode)으로 권한을 전환하는 함수 호출하드웨어 접근, 파일 I/O, 메모리 관리, 프로세스 제어 등은 시스템 콜 없이는 불가능🔹 예시 (Linux 기준) read(), write(), open(), close(), fork(), e..
AWS Private Subnet 보안강화
·
AWS
사용자 데이터 #!/bin/bash ( echo "qwe123" echo "qwe123" ) | passwd --stdin ec2-user sed -i "s/^PasswordAuthentication no/PasswordAuthentication yes/g" /etc/ssh/sshd_config systemctl restart sshd 기존에 만들어 두었던 퍼블릭 서브넷 EC2에 연결 후 프라이빗 서브넷에 만든 EC2에 연결ssh ec2-user@프라이빗 아이피 요약 출발지목적지통신 여부퍼블릭 서브넷외부 인터넷가능외부 인터넷퍼블릭 서브넷가능프라이빗 서브넷외부 인터넷가능외부 인터넷프라이빗 서브넷불가능
CLI EC2 인스턴스 정보 확인 명령어
·
Linux
# SSH 터미널 접속 # CPU 정보 확인cat /proc/cpunfo | grep name # 메모리 용량 확인cat /proc/meminfo | grep MemTotal # 프라이빗 IP 주소 확인ip -br -c addr show # 퍼블릭 IP 주소 확인curl ipinfo.io 또는 curl ipinfo.io/ip # 스토리지 확인 (EBS 볼륨 확인)lsblk df -hT -t xfs
25.09.25 목요일 29일차 (모니터링 및 분석)
·
AWS 광주 개발일지(25.08.19~25.01.20)/교육 25년 9월 일지
모니터링 및 분석 Amazon CloudWatchAWS 및 온프레미스에서 실시간으로 인프라 및 리소스를 모니터링단일 위치에서 모든 지표에 엑세스지표에 대한 응답으로 자동 알림 및 작업 구성Amazon CloudWatch 대시보드 -> 비용이 발생 -> 자주 쓰진 않음 AWS CloudTrail -> 요청에 대한 로그 수집, 접속 로그 수집, 데이터 수집 서비스 AWS Trusted Advisor (서포트 플랜 businees 이상만 가능)대시보드 정보 -> 비용 최적화, 성능, Security, Fault Tolerance, 서비스 한도발견된 문제 없는 항목 수권장 조사 항목 수권장 조치 수AWS 요금 개념종량 요금제 -> 사전에 용량을 프로비저닝하지 않고 사용한 리소스에 대해서만 비용 지불예약하는..