9시 24분

경사 하강법을 좀 더 기술적으로 표현하면 '어떤 손실 함수가 정의되었을 때 손실 함수의 값이 최소가 되는 지점을 찾아가는 방법'이다. ( 손실 함수: 예상한 값과 실제 타깃값의 차이를 함수로 정의한 것 ) '오차를 변화율에 곱하여 가중치와 절편 업데이트하기' = 제곱 오차를 미분한 것 제곱 오차(squared error): 타깃값과 예측값을 뺀 다음 제곱한 것 제곱 오차가 최소가 될 때, 산점도 그래프를 가장 잘 표현한 직선이 그려진다. 즉, 제곱 오차의 최솟값을 찾는 방법을 알면 모델을 쉽게 만들 수 있다. 제곱 오차의 최솟값을 알아내려면 기울기에 따라 함수의 값이 낮은 쪽으로 이동해야 한다. 기울기는 제곱 오차를 가중치나 절편에 대해 미분하여 구한다. 가중치에 대하여 제곱 오차 미분하기 제곱 오차를 ..

kNN kNN(k Nearnest Neighbor): 최근접 이웃 알고리즘, 거리를 이용해 분류를 수행하는 알고리즘 Machine Learning = Feature Engineering (특징) + Statistics (분포) ex) 토마토는 채소인가? 과일인가? Feature로 sweetness, crunchiness를 선정 Feature Selection: 집단을 구분할 수 있는 변수를 선정하는 것 과일 채소 Sweetness 大 小 Crunchness 小 大 좌측 그림 - 같은 종류끼리 비슷한 위치에 모여있음 토마토가 과일인지 채소인지 알아보기 위해 토마토에서 가장 가까운 k=4개(4-Nearest Neighbor)의 종류를 알아보자. sweetnest of tomato: 6, crunchiness..

분산이랑 표준편차 공식도 알아보기 colab 실습 중간에 스탑함 ㅠㅠ 끙 그리고 수업을 들어보니 실습 시간에 함께 코드를 치는 것이 아니었고, 따라치면서 이해하기엔 강의 속도가 빨랐다. 출석률을 잘 채우고 싶었지만, 수업을 통해 내가 원하는 것만 취하기 위해서는 앞으로는 강의 동영상을 본 후 colab의 코드를 줌 수업 전에 직접 해보고, 이해가 안될때만 줌 수업에 참여하거나 줌 녹화본을 보는 것이 좋을 것 같다 ㅠ.ㅠ 이 게시글도 나중에 오늘 수업 내용 잘 정리해서 수정하자.

빅데이터의 이해 이전에는 데이터를 단일 컴퓨터, 단일 데이터베이스에 저장하였음 데이터의 크기가 증가하고, 그에 따라 소요되는 비용도 증가함 이에 대한 해결책으로 분산 처리 Computing 방법론이 탄생 분산 처리의 경우, 데이터 처리가 어려워져 빅데이터 기술이 필요해짐 Static Data: 개체의 속성에 해당하는 데이터, 시간에 따라 바뀌지 않는 데이터 ex) 성별, 연령, 지역, 제조사, 생산일 등 정형 Data RDB 형태로 저장하는 것이 유리 Event Log Data: 모바일이 발전하며 생김, 개체의 사태에 해당하는 데이터, 시간에 따라 바뀌는 데이터 ex) 현 위치, 조회 키워드, 클릭 페이지 등 Log Data, 정형 데이터의 구조로 처리하기 어려움 하둡 시스템을 저장하는 것이 유리 데이터..

수업자료 링크: https://drive.google.com/drive/folders/10hYD2o6KSR_St0o38cySgVQZ-pZ_BX8X?usp=sharing IICEE - Google Drive 이 폴더에 파일이 없습니다.이 폴더에 파일을 추가하려면 로그인하세요. drive.google.com 학교에서 진행하는 비교과 과정으로 9일동안 빅데이터와 머신러닝을 배운다. 이 글 아래의 내용은 'Do it! 딥러닝 입문'을 보고 작성한 내용인데, 이제부터 나오는 내용은 'Tenserflow 2로 배우는 빅데이터와 머신러닝'의 내용을 정리한 글이 나올 것이다. 'Do it! 딥러닝 입문' 내용은 수업 내용 정리가 끝난 후에 다시 올릴 예정이다. ( 수업 내용으로 배우고 싶었던 내용이 다 충족되면 안 올..

앞에서 그린 산점도에 가장 잘 맞는 직선은 두 번째 직선임을 직관적으로 알 수 있다. 즉, 데이터를 표현하는 점들의 가운데 지점을 가로지르는 직선을 자연스럽게 찾아낼 수 있는 것이다. 보통 여러 개의 특성을 가진 데이터를 이용하여 고차원의 그래프를 한 번에 그리는 것이 아니라 특성의 개수를 1, 2개만 이용하여 2차원이나 3차원의 그래프로 그리는 경우가 많다. 선형 회귀와 경사 하강법의 관계 (복습) 선형 회귀의 목표: 입력 데이터와 타깃 데이터를 통해 기울기와 절편을 찾는 것, 즉, 산점도 그래프를 잘 표현하는 직선의 방정식을 찾는 것 경사 하강법 (gradient descent)가 바로 그 방법 중 하나이다. 경사 하강법: 모델이 데이터를 잘 표현할 수 있도록 기울기(변화율)를 사용하여 모델을 조금씩..

1차 함수로 이해하는 선형 회귀 위 1차 함수에서 a는 기울기, b는 절편이다. 선형 회귀는 기울기와 절편을 찾는다. Q) x가 3일 때 y는 25, x가 4일 때 y는 32, x가 5일 때 y는 39라면 기울기와 절편의 값으로 적절한 것은? 기울기 6, 절편 4 기울기 7, 절편 5 기울기 7, 절편 4 A) 3. 기울기 7, 절편 4 선형 회귀의 문제 해결 과정 1. 1번의 조건을 가진 1차 함수로 표현 > 점을 잘 표현하지 못함 2. 2번의 조건을 가진 1차 함수로 표현 > 점을 잘 표현하지 못함 3. 3번의 조건을 가진 1차 함수로 표현 > 각 점을 잘 표현함 >>> 위 과정에서 만든 1차 함수들을 선형 회귀로 만든 모델이라고 하며, 마지막에 만들어진 1차 함수가 바로 최적의 선형 회귀 모델인 셈..

구글 코랩 구글 코랩(구글이 제공하는 주피터 노트북)을 이용하여 실습을 진행 구글 드라이브에서 생성, 저장, 불러오기를 할 수 있다. 코드 실행 - Ctrl + Enter 파일 > 드라이브에 사본 저장으로 구글 드라이브에 노트북 저장 코랩 노트북에서 자주 사용하는 기능 코드 실행 - Ctrl + Enter 셀 삭제 - Ctrl + M + D 셀 실행 후 다음 셀로 이동 - Shift + Enter 셀 실행 후 바로 아래에 셀 삽입 - Alt + Enter 마크다운 모드로 변경 - Ctrl + M + M 넘파이 (Numpy) : 파이썬의 핵심 과학 패키지 중 하나 파이썬 리스트로 만든 배열은 배열의 크기가 커질수록 성능이 떨어짐 > 넘파이 사용 저수준 언어로 다차원 배열을 구현 > 배열의 크기가 커져도 높..