목록전체 글 (86)

띵유로그

pandas NULL이 있는 행 출력

데이터를 처음 보면 가장 먼저 해야할 행동은 NULL이 있는지 파악하기입니다. 어느 열이라도 NULL이 하나라도 있으면 행전체를 출력 data[data.isna().any(axis=1)] pandas에서 axis 1은 열, axis 0은 행(index)입니다. axis = 1 이니, 어느 열이라도 na가 있으면 해당 index를 반환합니다.
DataEngineering 2023. 4. 5. 00:33
[DB] ORACLE 문법 VS SQLSERVER 문법

주로 SQL SERVER 를 사용하지만, ORACLE 책이 너무 자세히 쓰여있거 오라클 책으로 공부중이다. 여기서 내부 동작 원리 차이로 문법이 달라지는 경우가 있어 잊지 않기 위해 여기에 기록해둔다. 1. TOP (10) / WHERE ROWNUM
데이터베이스 2022. 10. 11. 11:19
[JAVA] JVM이란? - JVM 동작과정

JAVA는 JVM(java virtual machine) 위에서 동작합니다. 그로 인해 OS에 독립적으로 코드를 실행할 수 있습니다. java소스코드(.java)는 바로 기계어로 번역되는 것이 아니라 JVM 이 해석할 수 있는 방식인 java bytecode(.class) 로 변환됩니다. JVM 구조는 아래 그림과 같습니다. JVM 은 크게 CLASS LOADER, 실행엔진, 런타임데이터 영역으로 나뉩니다. 각 구성요소가 어떤 역할을 하는지 알아보기 전에, 소스코드를 JVM 위에 올리는 과정을 먼저 알아보겠습니다. .JAVA 가 JVM 에서 구동되는 과정 1) 소스코드인 .java를 컴파일하여 바이트코드인 .class로 변환합니다. 컴파일 할 때는 javac 명령어를 통해 javac.exe를 실행시킵니다..
CS 2022. 9. 14. 07:55
SPARK - DATAFRAME, DATASET

SPARK의 DATAFRAME은 비타입형, DATASET은 타입형입니다. DATAFRAME DATAFRAME이 비타입형이라고 하는데에 무리가 있을 수 있겠지만, 포인트는 데이터타입이 런타임에 결정된다는 것입니다. DATAFRAME은 ROW type으로 구성된 DATASET입니다. ROW는 연산에 최적화 된 인메모리 포맷입니다. 가비지컬렉션 등 추가로 관리가 필요한 jvm 의 타입이 아니라 연산이 효율적입니다. DATASET DATASET은 타입형입니다. 컴파일시간에 데이터타입이 결정됩니다. JVM 기반 언어이기 때문에 스칼라, 자바에서만 지원하고 python 등에서는 dataset을 쓸 수 없습니다. dataset을 사용하려면 스칼라-case class /자바 - Bean을 통해서 만들 수 있습니다. 컴..
DataEngineering/SPARK 2022. 7. 27. 12:35
AWS Route53 와 Freenom 을 사용해서 도메인이름 변경하기

Spring 프로젝트 중 구글 로그인 기능을 사용할 일이 있었습니다. 그런데 승인된 리디렉션 URI 설정 중 아래와 같은 오류가 떠서 AWS의 퍼블릭 주소 그대로 사용할 수 없게 되었습니다. aws 에서 제공하는 퍼블릭주소가 google에서 지원하지 않는 영역이여서 그런것같다고 판단했습니다. 그래서 Freenom과 Aws Route53을 사용하여 도메인을 바꾸기로 했습니다. Freenom 홈페이지에서 남는 도메인 줍줍하기 Freenom - A Name for Everyone Freenom - A Name for Everyone Cost Price Free Special www.freenom.com 로그인 후 원하는 도메인이 0원인것을 확인하여 결제합니다. 저는 ~~.ga 도메인을 겟했습니다. 그 후 Se..
기타 2022. 6. 18. 23:21
EC2 서버 초기세팅

1. 한국시간으로 변경 sudo rm /etc/localtime sudo ln -s /usr/share/zoneinfo/Asia/Seoul /etc/localtime 2. Hostname 변경 1) LINUX AMI 1 인경우 sudo vim /etc/sysconfig/network HOSTNAME=~~ 편집 2) LINUX AMI 2 인경우 sudo hostnamectl set-hostname freelec-springboot2-webservice.localdomain => hostname 명령어를 통해 정상 수정여부 확인 3. hostname을 변경 한 후에는 /etc/hosts에 등록 필요 sudo vim /etc/hosts curl 등록한 호스트명
기타 2022. 6. 6. 19:25
maven 저장소 내 lastupdated 파일 모두 지우기

cd %userprofile%\.m2\repository for /r %i in (*.lastUpdated) do del %i
기타 2022. 5. 11. 11:08
[Intellij] certificate setting 경고 제거

아래 그림과 같이 오류가 뜨는 경우가 있음. Accept non-trusted certificates 체크하면 됨
기타 2022. 4. 8. 13:28
이전 Prev 1 2 3 4 ··· 11 Next 다음