훈마로의 보물창고

비트 연산자

• 0과 1로 표현이 가능한 정수타입만 비트 연산이 가능하다.

• 피연산자를 int 형으로 자동 형변환

비트 반전 연산자(~), 틸드 연산자

• 정수 타입의 피연산자에만 사용
• 피연연사즐 2진수로 표현했을 때 비트값인 0을 1로, 1은 0으로 반전
• 부호가 반대인 새로운 값이 산출됨

비트 논리 연산자(&, |, ^)

• 비트논리 AND 연산자(&): 두 비트 모두 1일 경우에만 연산 결과가 1
• 비트논리 OR 연산자(|): 두 비트 중 하나라도 1이면 연산 결과 1
• 비트논리 XOR 연산자(^): 두 비트 중 하나는 1이고 다른 하나가 0일 경우 연산 결과는 1

비트 이동 연산자(<<, >>, >>>), 쉬프트 연산자

연산 관련 개념

• 연산(Operation): 프로그램에서 데이터를 처리하여 결과를 산출하는 것

• 연산자(Operator): 연산에 사용되는 표시나 기호

• 피연산자(Operand): 연산되는 데이터
• 연산식(Expressions): 연산자와 피연산자를 이용하여 연산의 과정을 기술한 것

연산자 정리표

연산의 방향과 우선순위

증감 연산자( ++ , -- )

• 전위형: 피연산자 앞에 위치, 다른 연산보다 증감 먼저 수행 ( int i = 0; ++i )
• 후위형: 피연산자 뒤에 위치, 다른 연산 수행 후 증감 실행 ( int j = 0; j++; )

논리 연산자( &&, ||, &, |, ^, !)

• 일반논리AND연산자, 논리곱(&&): 피연산자 모두 true일 경우 연산 결과 true
• 일반논리OR연산자, 논리합(||): 피연산자 중 하나만 true이면 연산 결과는 true
• 배타적 논리합(^): 피연산자가 하나는 true이고 다른 하나가 false일 경우에만 연산 결과 true

논리 부정 연산자(!), (=not 연산자)

• 참 또는 거짓을 부정한다.
• !true → false
• !false → true

덧셈연산자(+) / 문자열 연결 연산자(+) 비교

• print( 4 + 5 ) => 정수 + 정수 => 9 // 덧셈연산자로 더하기 연산 수행
• print( "4" + 5 ) => 문자열 + 정수 => "45" (문자열) // 문자열 연결 연산자로 4와 5 문자열을 연결
• print( "4" + "5") => 문자열 + 문자열 => "45"(문자열) // 문자열 연결 연산자로 4와 5 문자열을 연결

0으로 나누기 또는 나머지 연산을 수행할 수 없음(오류 발생)

• 실수를 0으로 나누면 무한대(Infinity) 결과값
• 실수를 0으로 나머지 구하기 하면 NaN(Not a Number)결과값

조건연산자

• 형식 => 항1 : 항2 : 항3;
• 항1이 참이면 결과값은 항2
• 항1이 거짓이면 결과값은 항3

클래스 선언 형식

[접근지정자][기타제어자] class 클래스명 [extends Super클래스][implements 인터페이스…]
{
    클래스 내용
}

• 클래스는 객체를 표현한다.

• [ ]: 생략 가능

• 접근지정자(접근제한자): public, protected, default(기본), private     

• { }: 클래스/메소드/생성자의 내용이 들어가는 블록이다. 빈 내용이더라도 블록은 꼭 써야 한다.
• 기타제어자: static, final, abstract, native, transient, synchronized, volatile, strictfp 등

주의사항

• 클래스명은 반드시 대문자로 시작
• 자바언어는 대소문자 구별
• 하드코딩(개발도구를 사용하지 않는 코딩) 시, 저장 확장자명을 .java로 할 것

생성자 선언 형식

[접근지정자]class 클래스명(파라미터) 
{ 
    생성자 내용
}

• 선언한 Class가 실제로 생성될 때 실행되는 작업을 기술하는 공간이다.

• [ ]: 생략 가능

• 접근지정자(접근제한자): public, protected, default(기본), private     

• { }: 클래스/메소드/생성자의 내용이 들어가는 블록이다. 빈 내용이더라도 블록은 꼭 써야 한다.
• 파라미터: 생성자를 통해 클래스를 생성할 때 사용되는 인자값을 받아오는 변수 선언 부

주의사항

• 생성자는 클래스명과 동일해야 한다.
• { } 블록 안의 내용이 빈 공간인 것은 기본생성자이다. 그리고 기본 생성자는 생략 할 수 있다. 자바 컴파일러가 자동으로 생성한다.

함수 선언 형식

[접근제한자] [기타제어자] 리턴자료형 함수명([파라미터]) 
{ 
    [return 리턴값;]
}

• 반복되어지는 코딩을 함수로 만들면 코드의 중복이 줄어든다.

• 함수를 사용하면 구조적 프로그래밍이 가능하다.

• 함수를 만들기 전에 생각해야할 3가지: 기능, 매개변수(파라미터), 리턴값(리턴자료형)

함수를 호출하는 방법

• Call by Name: 파라미터 없이 함수명으로만 호출, 예) swap();
• Call by Value: 파라미터에 값을 주고 호출, 예) swap(30);
• Call by Reference: 파라미터에 참조 변수 값을 주고 호출, 예) swap(참조변수);
• Call by Point: 포인트 주소값으로 호출(C언어에서 사용)

public static void main(String[] args)
{
// 실행 내용
}

자바는 객체지향 프로그래밍 언어이다. 본격적인 자바 소개에 앞서 프로그래밍 언어에 대해 알아보자.

프로그래밍 언어란?

• 컴퓨터가 이해할 수 있는 언어는 0과 1로 이루어진 이진 코드(binary code)의 기계어(machine language)이다.

• 그래서 사람과 컴퓨터가 대화하기 위해서는 사람의 언어와 기계어의 다리 역할을 하는 프로그래밍 언어(programming language)가 필요하다.

• 프로그래밍 언어는 고급 언어와 저급 언어로 분류 할 수 있다.

고급언어

• 고급 언어는 컴퓨터와 대화할 수 있는 언어 중에서 사람이 쉽게 이해할 수 있는 언어를 말한다.
• 즉, 사용자 입장에서의 언어로써 우리가 일반적으로 프로그래밍 언어라고 부르는 C, C++, Java 등이 대표적인 예이다.

• 고급 언어로 작성된 소스(source)는 컴퓨터가 바로 이해할 수 없기 때문에(기계어가 아니므로), 컴파일(compile) 과정을 통해서 컴퓨터가 이해할 수 있는 기계어로 변환해줘야 컴퓨터가 사용할 수 있다.

• 컴파일 해주는 것을 컴파일러(compiler)라고 하며, 자바에서는 javac.exe가 담당한다.

• 우리가 흔히 말하는 프로그램(program)이란 컴퓨터에서 특정 목적을 수행하기 위해 프로그래밍 언어로 작성된 소스를 기계어로 번역한 것을 말한다.

저급언어

• 저급 언어는 기계어에 가까운 언어로, 어셈블리어가 대표적인 저급 언어이다.
• 사람이 이해하기 어려워서 배우기 매우 까다롭다.

자바의 역사

• 자바는 1991년에 썬 마이크로시스템즈(Sun Microsystems)사에서 제임스 고슬링(James Gosling)이 다른 연구원들과 함께 고안한 오크(Oak)라는 언어에서 시작되었다.

• 오크는 처음에 가전제품에서 사용될 목적이었으나, 인터넷의 등장과 함께 인터넷에서 실행되는 프로그래밍 언어로 사용되었고, 이름을 자바로 변경하였다.

• 1995년에 자바 1.0을 발표하였고, "Write Once, Run Anywhere"(한번 쓰고 어느 곳에서도 실행)를 약속하였다.

• 1995년~1999년까지는 윈도우 프로그램 개발이 주류여서 C++언어에 비해 자바는 열세였다. 또, 메모리 및 CPU를 지나치게 많이 사용한다는 문제점이 있었다.

• 하지만, 1999년도부터 인터넷이 활성화되면서 웹 애플리케이션 구축을 위해 자바 활성화되었다. 단 한번 작성으로 모든 곳에서 실행 가능한 언어는 자바뿐이었기 때문이다.

자바의 특징

자바는 이식성이 높은 언어이다.

• 이식성이란 서로 다른 실행 환경을 가진 시스템 간에 프로그램을 옮겨 실행할 수 있는 것을 말한다.

• 예를 들면 윈도우 운영체제에서 실행하는 프로그램을 리눅스 또는 유닉스에서 실행할 수 있으면 이식성이 높은 것이다.

• 자바는 자바 실행 환경(JRE:Java Runtime Environment)이 설치되어 있는 모든 운영체제에서 실행 가능하다.

자바는 객체 지향 언어이다.

• 프로그램을 개발하는 기법으로 부품에 해당하는 객체들을 먼저 만들고, 이것들을 하나씩 조립 및 연결해서 전체 프로그램을 완성하는 것을 객체 지향 프로그래밍(OOP, Object Oriented Programming)이라고 한다.

• 객체 지향 프로그래밍에 사용되는 언어를 객체 지향 언어라고 한다.
• 자바는 객체를 만들기 위해 설계도인 클래스를 작성하고, 객체와 객체를 연결하여 목적에 맞는 프로그램을 만들어 낸다.
• 자바는 객체 지향 언어의 특징인 캡슐화, 상속성, 다형성을 완벽하게 지원한다.

자바는 함수적 코딩 스타일을 지원한다.

• 객체 지향 프로그래밍 이전에 Lisp 또는 Scheme와 같은 함수적 프로그래밍 언어들이 있었지만 큰 호응을 얻지 못했다.
• 최근에 대용량 데이터 병렬 처리와 이벤트 지향 프로그래밍을 위해 함수적 프로그래밍이 다시 부각되고 있다.

• 자바는 자바 8부터 람다식(Lambda Expressions)을 지원하여 함수적 프로그래밍을 지원한다.

• 람다식을 사용하면 컬렉션의 요소를 필터링, 매핑, 집계 처리하는데 쉬워지고, 코드가 매우 간결해진다.

자바는 메모리를 자동으로 관리한다.

• C++은 메모리에 생성된 객체를 제거하기 위해 개발자가 직접 코드를 작성해야 한다. 만약 이 작업을 성실하게 해주지 않으면, 프로그램은 불완전해지고 갑자기 다운되는 현상을 겪게 된다.

• 자바는 개발자가 직접 메모리에 접근할 수 없도록 설계되었으며,. 메모리는 자바가 직접 관리한다.

• 객체 생성 시 자동으로 메모리 영역을 찾아서 할당하고, 사용이 완료되면 쓰레기 수집기(Garbage Collector)를 실행시켜 자동으로 사용하지 않는 객체를 제거한다.

• 자바 개발자는 메모리 관리의 수고를 덜고, 핵심 기능 코드 작성에 집중할 수 있다.

자바는 다양한 애플리케이션을 개발할 수 있다.

• 자바는 다양한 운영체제에서 실행되는 프로그램을 개발할 수 있다.

• 또, 단순한 콘솔 프로그램에서부터 클라이언트용 윈도우 애플리케이션, 서버용 웹 애플리케이션, 그리고 모바일용 안드로이드 앱 등 거의 모든 곳에서 실행되는 프로그램을 개발 할 수 있다.

• 자바는 다양한 운영체제에서 사용할 수 있는 개발 도구와 API를 묶어 에디션(Edition) 형태로 정의하고 있다.

멀티 스레드(Multi-Thread)를 쉽게 구현할 수 있다.

• 운영체제에 따라서 멀티 스레드를 구현하는 방법이 다르지만, 자바는 스레드 생성 및 제어와 관련된 라이브러리 API를 제공하므로 운영체제에 상관 없이 멀티 쓰레드를 쉽게 구현할 수 있다.

동적 로딩(Dynamic Loading)을 지원한다.

• 자바 애플리케이션은 클래스로부터 생성 된 여러 개의 객체가 서로 연결되어 실행된다.

• 애플리케이션 실행 시 모든 객체가 생성되지 않고, 객체가 필요한 시점에 클래스를 동적 로딩해서 객체를 생성한다.

• 또, 개발 완료 후 수정 사항이 발생하더라도 해당 클래스만 수정 하면 되므로 전체 애플리케이션을 다시 컴파일 할 필요가 없다. 따라서 유지보수를 쉽고 빠르게 진행 수 있다.

막강한 오픈 소스 라이브러리가 풍부하다.

• 자바는 오픈 소스(Open Source) 언어이므로 자바 프로그램에서 사용하는 라이브러리 또한 오픈소스의 양이 방대하다.

• 고급 기능을 구현하는 코드를 작성하는 대신 검증된 오픈소스 라이브러리를 사용하면 애플리케이션 개발 기간을 단축하여 생산성을 높이고 안정성도 높일 수 있다.

3장에서 배울 내용

• 한 데이터 세트의 단일 변수 조사 방법
• 히스토그램과 시각화와 관련 R 명령어
• 데이터에 접근하는 방법

먼저 해야할 것은?

• 탐색적 데이터 분석에 앞서, 연구의 목적을 돌이켜보고
• 구하고자 하는 답에 대한 질문이 무엇인가? 상기
• 연구에서 가장 중요한 변수를 이해하기 위해서
• 그 변수들에 대한 요약과 시각화를 만드는 형태를 취할 것이다.

가상 페이스북 유저데이터

• 이번 3장에서는 가상의 페이스북 유저 데이터를 이용한다.
• 강의 노트에서 pseudo-facebook.tsv를 다운 받는다.
• getwd() 명령어로 R에 설정된 현재 홈 디렉토리를 확인한다.
• setwd("주소") 명령어로 홈 디렉토리를 설정할 수 있다.
• 주의사항: 주소 경로는 '/' 로 구분한다.

setwd("C:/Users/Mingyu/workspace/3. R/Data Analysis with R_Udacity/data_analysis_with_r_udacity/")
getwd()

## [1] "C:/Users/Mingyu/workspace/3. R/Data Analysis with R_Udacity/data_analysis_with_r_udacity"

• list.files() 명령어로 홈 디렉토리 내의 파일 목록을 확인한다.

list.files();

##  [1] "assets"                            
##  [2] "data_analysis_with_r_udacity.Rproj"
##  [3] "figure"                            
##  [4] "libraries"                         
##  [5] "problem_solve-lesson3.R"           
##  [6] "pseudo_facebook.tsv"               
##  [7] "Readme.txt"                        
##  [8] "summary_of_lesson3-1.html"         
##  [9] "summary_of_lesson3-1.Rhtml"        
## [10] "summary_of_lesson3.html"           
## [11] "summary_of_lesson3.md"             
## [12] "summary_of_lesson3.pdf"            
## [13] "summary_of_lesson3.Rmd"            
## [14] "summary_of_lesson3_cache"          
## [15] "summary_of_lesson3_files"          
## [16] "summary_of_lesson3_home.html"      
## [17] "summary_of_lesson3_home.Rmd"       
## [18] "test1.html"                        
## [19] "test1.Rhtml"

• read.csv() 명령어로 pseudo-facebook.tsv를 불러온다.

pf <- read.csv('pseudo_facebook.tsv', sep ='\t')

• \t 으로 구분하고, 불러온 데이터를 pf 변수에 담는다는 의미이다.

데이터세트 컬럼 확인하기

• names(pf) 명령어로 pf 변수에 담긴 데이터세트의 컬럼 정보를 확인 할 수 있다.

names(pf)

##  [1] "userid"                "age"                  
##  [3] "dob_day"               "dob_year"             
##  [5] "dob_month"             "gender"               
##  [7] "tenure"                "friend_count"         
##  [9] "friendships_initiated" "likes"                
## [11] "likes_received"        "mobile_likes"         
## [13] "mobile_likes_received" "www_likes"            
## [15] "www_likes_received"

ggplot2을 이용한 히스토그램 작성

• install.packages("ggplot2") 명령어로 ggplot2 패키지를 설치한다.
• 설치가 완료되면 library(ggplot2) 명령어로 ggplot2 패키지를 로드한다.
• 위에서 가상의 페이스북 데이터세트를 담고 있는 pf를 통해 히스토그램을 만들어보자.
• qplot() 명령어를 사용한다
• qplot()은 Quick plot의 약자로 ggplot2 패키지의 가장 기본적인 도표 작성 기능이다.

library(ggplot2)
qplot(x = dob_day, data = pf)

## stat_bin: binwidth defaulted to range/30. Use 'binwidth = x' to adjust this.

• qplot()의 인자 중 x는 dob_day 변수의 데이터를 가져오고, data는 pf 데이터 세트를 가져온다는 의미이다.

정확한 히스토그램 작성

• 일수는 1~31일인데, 히스토그램은 10단위로 뭉뚱그려 표시되므로 직관적이지 못하고 에러메시지 발생.
• 에러메시지: stat_bin: binwidth defaulted to range/30. Use 'binwidth = x' to adjust this.
• x 축의 단위를 수정해보자

qplot(x = dob_day, data = pf) + scale_x_discrete(breaks = 1:31)

(번외)히스토그램 꾸미기: ggthemes

• ggthemes() 패키지를 사용하여 ggplot 패키지로 생성하는 도표들을 간단하게 꾸밀 수 있다.

## CRAN에서 다운로드
install.packages('ggthemes', dependencies = TRUE)
## GitHub에서 다운로드
library("devtools")
install_github("jrnold/ggthemes")

library(ggthemes)
qplot(x = dob_day, data = pf) + geom_histogram() + theme_wsj() +ggtitle("Day of Birth of Facebook users") + scale_x_discrete(breaks = 1:31)

페이스북 직원 Moira의 연구

• 최근에 페이스북에서 청중들에 대한 사람들의 인식이 현실과 부합하는지 연구하고 있다.
• 사람들이 공유한 콘텐츠를 실제 보는 사람은 누구인가?
• 최근에 포스팅을 한 사람들을 대상으로 얼마나 많은 사람들이 이 포스트를 본다고 생각하나?라고 질문을 했다.
• 그리고 실제로 단 몇초간이라도 그들의 포스팅을 본 사람들의 숫자를 세어보았다
• 그 결과 사람들이 인식하는 청중들의 크기와 실 청중들의 크기는 달랐다.
• 사람들의 예상은 실제 청중들의 크기의 1/4이다.

Faceting(패싯기법)

• 앞서 만들었던 가상의 페이스북 데이터세트 pf에서 추출한 유저들의 생일 히스토그램을 월별로 분류한다.
• facet_wrap() 명령어를 사용한다.

qplot(x = dob_day, data = pf) + scale_x_discrete(breaks = 1:31) + facet_wrap(~dob_month, ncol=3)

facet_wrap(가로축 데이터)
facet_grid(가로축데이터~새로축 데이터)

Axes(축)의 조정

• 가상의 페이스북 데이터의 아웃라이어 데이터를 제외하고 의미있는 데이터만 분석하고자 한다.
• 지정한 변수의 값을 제한하기 위하여 qplot()명령어에 xlim인자를 추가하거나
• scale_x_continuous(limits) 명령어를 연결하여 사용한다.

qplot(x = friend_count, data = pf, xlim = c(0, 1000))

## stat_bin: binwidth defaulted to range/30. Use 'binwidth = x' to adjust this.

qplot(x= friend_count, data = pf) + scale_x_continuous(limits=c(0,1000))

## stat_bin: binwidth defaulted to range/30. Use 'binwidth = x' to adjust this.

binwidth (빈 너비, 막대 저장 넓이)

• 조금 더 정확하게 히스토그램을 분석하기 위해서 x축 값의 단위를 작게 지정한다.
• 또, binwidth(막대 저장 넓이)를 조정하여 더 작은 단위로 데이터를 분석할 수 있다.

qplot(x = friend_count, data=pf, binwidth = 25) + scale_x_continuous(limits = c(0, 1000), breaks = seq(0, 1000, 50))

• binwidth를 더 쉽게 이해하기 위해 binwidth 값을 100으로 설정한 도표를 보자.

qplot(x = friend_count, data=pf, binwidth = 100) + scale_x_continuous(limits = c(0, 1000), breaks = seq(0, 1000, 50))

• 즉, 히스토그램의 막대가 포함하는 값들이 많아져 데이터가 뭉뚱그려 보여지게 된다.

성별로 구분하기

• 가상의 페이스북 유저 데이터의 친구 숫자 히스토그램을 성별로 나누어 보자.

qplot(x = friend_count, data=pf, binwidth = 25) + scale_x_continuous(limits = c(0, 1000), breaks = seq(0, 1000, 50)) + facet_wrap(~gender)

NA 제외하기: subset() 사용

• 성별 라벨에 체크를 하지 않은 유저들의 데이터는 NA로 저장되어있어 원치 않은 히스토그램이 생겨났다.
• NA를 제외한 결과를 볼 수 있게 명령문을 조정하자

# subset 사용
subset(pf, !is.na(gender))

• subset(데이터세트, 조건식): 데이터세트에서 조건식을 충족하는 값만 출력
• 논리 부정 연산자 ! 사용하여, gender 컬럼에 na가 포함 되었으면 true를 반환하는 조건식을 부정하므로
• pf 데이터에서 gender 컬럼에 na가 포함 안된 값들을 data를 가지게끔 데이터세트를 구분한다는 뜻

qplot(x = friend_count, data=subset(pf, !is.na(gender)), binwidth = 15) + scale_x_continuous(limits = c(0, 1000), breaks = seq(0, 1000, 50)) + facet_wrap(~gender)

NA 제외하기: na.omit() 사용

• 앞서 살펴본 subset() 이외에도 na.omit() 명령문을 사용할 수 있다.
• 모든 observations (데이터세트의 값들) 중에 NA를 가지는 값들을 제외하고 보여준다.

qplot(x = friend_count, data=na.omit(pf), binwidth = 15) + scale_x_continuous(limits = c(0, 1000), breaks = seq(0, 1000, 50)) + facet_wrap(~gender)

• 주의사항: 무조건 NA값을 제외하므로 어떤 변수를 분석하냐에 따라 데이터 분석에 오류가 생길 수 있다.

데이터베이스와 데이터베이스 시스템

사물인터넷(IoT, Internet of Things)

  오프라인의 산업을 크게 확장시킨 18세기 중반 영국에서 시작된 산업혁명에 이어, 온라인 산업을 크게 확장시킨 20세기 정보화 혁명이 있었고, 우리는 얼마전까지 정보화 시대에 살았다. 그러나 지금은 초연결 혁명이 일어나고 있다. 물리적 공간과 가상 공간이 결합하여 모든 것이 인터넷과 연결되는 시대, 우리는 이를 사물인터넷 시대라 부른다.

  스마트팩토리, 스마트카, 스마트홈이라는 말을 들어본 적이 있는가? 직역하자만 똑똑한 공장, 똑똑한 자동차, 똑똑한 집이라는 뜻인데 어떻게 사물이 똑똑해질 수 있다는 것인가? 이는 사물인터넷을 개념을 이해하면 답을 구할 수 있다. 2000년대 후반, 유럽의 한 RFID 학회에서 언급된 사물인터넷 개념은 SF 공상영화에서나 나올 법한 일들로 치부되었다. 그러나 2015년 현재, 우리는 많은 기기들과 연결되고 있다. 우리가 늘 손아 쥐고 다니는 스마트폰을 중심으로, 센서와 통신시스템을 가진 사물들과 연결되면서 더 스마트한 삶을 누릴 수 있게 되었다.

 정의