정구리의 우주정복

자연어 처리 !! 내가 제일 해보고 싶은 분야 텍스트의 토큰화 -텍스트를 잘게 나눈 것 텍스트를 단어 , 문장 , 형태소 별로 나눌 수 있는데 이렇게 나눠진 하나의 단위를 '토큰' 이라고 한다 그리고 잘게 나누는 과정을 '토큰화' 케라스에선 text_to_word_sequence 를 제공해 좀 쉽게 토큰화 할 수 있다 간단한 토큰화 예제 from tensorflow.keras.preprocessing.text import text_to_word_sequence #전처리 할 텍스트 text ='여기는 정구리의 멋진 블로그' #텍스트 토큰화 result = text_to_word_sequence(text) print('원문 :',text) print('토큰화 :',result) #텍스트 전처리 함수 Toke..

데이터 다운로드 www.kaggle.com/kumargh/pimaindiansdiabetescsv?select=pima-indians-diabetes.csv pima-indians-diabetes.csv www.kaggle.com 768명의 인디언으로부터 8개의 속성과1 개의 클래스로 되어있는 csv 파일 1) 데이터 살펴보기 import pandas as pd #names 를 사용해 속성의 키워드를 지정해준다. df = pd.read_csv('파일 경로', names=['pregnant','plasma','pressure','thickness','insulin','BMI','pedigree','age','class']) print(df.head(5)) print(df.info()) #일의 칼럼만 보고싶..

오늘은 폐암 생존률을 분석해볼것이다 2020/10/30 - [PYTHON/A.I] - 인공지능 (1) - 딥러닝 준비운동 인공지능 (1) - 딥러닝 준비운동 *환경은 주피터 노트북을 사용했습니다. '기존 데이터를 이용애 새로운 데이터의 결과를 예측하는 것' 머신러닝은 데이터 안에서 규칙을 발견하고 새로운 데이터에 적용해서 새로운 결과를 도 j-ungry.tistory.com 글에서도 간략하게 분석을 했었지만 이번엔 좀 더 구체적으로 분석해볼것이다. 전체코드 #딥러닝에 필요한 케라스 함수 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense #필요한 라이브러리 불러옴 import numpy as np ..

난 수학 짱 못하는데 딥러닝은 고등학교 수학만으로 원리와 배경을 이해할수 있다니까 도전해봄 기초 수학 함수 : 두 집합사이의 관계를 설명 x 와 y가 있을때 x 가 변하면 이에따라 y가 어떤 규칙으로 변하는지를 나타냄 (y = f(x)) 일차함수 : y가 x 에 관한 일차식으로 표현된 경우 y = ax+b (a != 0) 이때 a 는 기울기 b 는 절편 이라고 한다 이차함수: y가 x에 관한 이차식으로 표현된 경우 y = ax^2 (a != 0) 로 표현 이차함수에서는 최소값을 찾아내는 과정이 매우 중요하다 '최소 제곱법' 공식으로 쉽게 알아낼 수 있지만 실제로 사용할 때는 활용하기 어렵다 따라서 '미분' 과 '기울기' 를 이용해야한다. 미분: 순간 변화율을 구하는 법을 알아야함 ! 미분의 성질 4가지 ..

*환경은 주피터 노트북을 사용했습니다. '기존 데이터를 이용애 새로운 데이터의 결과를 예측하는 것' 머신러닝은 데이터 안에서 규칙을 발견하고 새로운 데이터에 적용해서 새로운 결과를 도출하는 것이다. ex) 수술 환자의 수술 전 상태 , 생존률을 정리해놓은 데이터를 머신러닝에 넣어서 생존률을 구하는 방식 학습 : 데이터가 입력되고 패턴이 분석되는 과정 따라서 얼마나 정확한 경계선(빨간색) 을 긋느냐에 달려있다 ! 폐암 수술 환자의 생존율 예측하기 실제 딥러닝 코드를 이용해 한번 살펴보자 (code 1-1) #딥러닝을 구동하는데 필요한 케라스 함수 호출 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dens..

1. 텐서의 형을 변환하는 Cast import tensorflow as tf #cast 를 써서 데이터의 형을 변환 a1 = tf.constant([[1.1,2,3],[4,5,6]]) #2*3 b1 = tf.constant([[10,11],[20,21],[30,31]]) #c1 = tf.cast(a1,tf.int32) #a1을 int32로 바꿔준다 d1 = tf.cast(b1,tf.float32) print(d1) print(tf.matmul(a1,d1)) a1 은 float32 형이고 b1 은 int32 형이다 이때 cast 를 사용해서 각 tensor 의 형을 바꿔 matmul 을 해보자 ( 형이 다르면 matmul 을 사용할 수 없기 때문에 꼭 형을 맞춰주도록 하자) cast 의 사용 방법 tf...

1. 여러가지 자료형 import tensorflow as tf #여러가지 자료형 string = tf.Variable('This is String',tf.string) #문자열 number = tf.Variable(324,tf.int16) #정수 , 숫자가 하나만 있으니까 스칼라 ,2차원 벡터 floating = tf.Variable(3.567,tf.float64) rank1_tensor = tf.Variable(['Test'],tf.string) #rank1 rank2_tensor = tf.Variable([['Test','ok'],['Test','Yes']]) #rank2 #공식 문서에도 있음 변수를 선언할때는 Variable ,상수를 선언할때는 constant 를 써야한다 자료형에는 string ..

골빈해커의 3분 딥러닝 텐서플로 맛 을 보면서 공부를 해봐야징 1. tensorflow 설치 - pip3 install tensorflow 를 입력해서 설치해주도록 하자 2. tensorflow 설치 확인 import tensorflow as tf hello = tf.constant("Hello Tensorflow") print(hello) >>tf.Tensor(b'Hello Tensorflow', shape=(), dtype=string) 여기서 dtype 는 자료형을 의미한다 3. 그래프의 생성과 실행 -그래프란 간단하게 텐서들의 연산 모음이다 . 텐서플로는 텐서와 텐서들의 연산들을 먼저 정의하여 그래프를 만들고 필요할때 연산을 실행하는 코드를 넣어 ' 원하는 시점 ' 에 실제 연산을 수행 (지연실행..