띵유로그

RDD print 할때는 collect 한 후 foreach를 통해서 print 해야함 val test = ~~~ test.collect().foreach(println)

오마이갓. 갑자기 회사업무에서 MFC를 사용하게 되었다. 이게 무슨 날벼락이지? 이 페이지는 얼른 적응하기 위해, 잊지 않기 위해 새로 알게된 지식 몇가지를 기록해놓는 페이지이다. 1) _tWinMain main 함수임. 가장 처음 실행하는 entry point _t의 의미 : 유니코드 문자열처리 인자 : HINSTANCE hInstance, HINSTANCE hPrevInstance, LPTSTR IpCmdLine,int nCmdShow HINSTANCE = 응용프로그램을 식별하는 값. 실행파일이미지가 저장된 주소. (Handle Instance) lpCmdLine = argv (인자) nCmdShow = 윈도우를 화면에 보여줄 것인가 말것인가? 2-1) MSG 구조체 typedef struct Msg..

1. 의존성 추가하기 의존성 설명 compile('org.springframework.boot:spring-boot-starter-data-jpa') 스프링 부트용 Spring Data Jpa 추상화 라이브러리. 스프링 부트 버전에 맞춰 자동으로 JPA 관련 라이브러리 버전 관리해줌. compile('com.h2database:h2') 인메모리형 데이터베이스(테스트용으로 사용) 2. 도메인 패키지 생성. & Posts 클래스 생성. 게시글, 댓글, 회원, 정산 등 sw요구사항을 관리하기 위한 영역. 하위에 posts 패키지와 Posts 클래스를 생성한다. Posts 클래스는 실제 DB의 테이블과 매칭될 클래스이며 Entity클래스 라고도 한다. Posts 클래스 내용은 아래와 같다. 롬복라이브러리를 사용..

1.편집 - 설정 - SFP에서 key파일을 추가해준다. 2. 파일 - 사이트관리자 에서 새로운 사이트 추가 - 프로토콜 : SFTP - 호스트 : 퍼블릭 주소 - 사용자 : ubuntu(OS마다 다름) 아래 참고. 3. 결과

앞선 글에서 SPARK의 lazy evaluation과 in-memory등의 특성을 설명했다. 그렇다면 이러한 특성은 왜 유용할까? 어디에 유용할 까? 수많은 machine learning 알고리즘이 있지만, 대부분의 알고리즘은 iteration 에 기반한다. 여러 데이터를 가지고 반복작업을 하면서 최적화시키는 과정을 거친다. 여기서 SPARK 가 유용한 이유를 설명할 수 있다. 위 그림을 살펴보면 하둡은 각 작업이 끝난 후 disk에 저장하는 작업을 반복한다. 반면 SPARK 는 각 작업 후 결과를 memory 에 저장후 다시 활용한다. 즉, iteration이 많은 data science 에서는 매번 disk에 접근하는 하둡보다 spark가 훨씬 효율적인 것이다. SPARK에서 메모리에 저장해두고 바..

0. EC2 연결 2. apt 업데이트 # apt-get update # sudo apt-get install build-essential git libfuse-dev libcurl4-openssl-dev libxml2-dev mime-support automake libtool # sudo apt-get install pkg-config libssl-dev 3. IAM 메뉴에서 User 생성 - 사용자 이름을 입력하고 키를 통해 접근할 예정이므로 프로그래밍 방식 엑세스를 선택한다. - AmazonS3FullAccess 생성된 키를 다운로드 받는다. 4.S3FS 설치 : s3를 filesystem처럼 mount 시킬 수 있게 해주는 라이브러리. 성능이 느리다고 한다.. goofys 라는 패키지도 있다. ..

변수 = var 상수 = val object LearnScala { def main(args: Array[String]): Unit = { var x = 1 + 2 x = 3 * 4 println( x ) val y = 1 + 2 //y = 3 * 4 // ERR 상수값 변경 불가 println( y ) // 한 번에 여러개의 변수를 선언하면서 값을 대입할 수도 있습니다. var a, b, c = 5 println( a ) println( b ) println( c ) } } 결과 : 12 3 5 5 5 print 할 때 $변수 를 출력하면 바로 출력 가능($수식 또한 가능함) object LearnScala { def main(args: Array[String]): Unit = { var x = 10 ..