과거 acc를 못 올리는 이유를 알아보았다. 둘 중 하나를 선택하는 문제는 activation softmax대신 sigmoid를 사용해야 한다. 아래로 고치고 1,000번 학습시켰다. 최고값을 찾은 weight를 파일로 저장했다. 147번 학습해보니 0.99?? 정확도를 보이나, vlaidation 체크용은 0.87대 정확도를 보인다. from konlpy.tag import Okt okt=Okt() from gensim.models import Word2Vec from keras.layers import Dense, Flatten, SimpleRNN from keras.models import Sequential from…… keras로 키워드 분석(3/5) 계속 읽기
[카테고리:] tensorflow
tensorflow 테스트
keras로 키워드 분석(2/5)
keras가 지원하는 embedding을 어떻게 사용하는지 몰랐다. keras가 제공하는 문서가 embedding 기능을 정확히 설명한다. https://keras.io/layers/embeddings/#embedding weight로 embedding_matrix를 입력하고, input으로 index를 입력하면 index를 vector로 변경한다. 따라서 아래와 같은 순서로 작업해야 한다. 미리 만든 word2vec 파일을 불러온다.전체 vocab 총 양을 embedding_matrix로 설정한다.konlpy로 각 태그를 분리한다.불러온 word2vec 파일에서 해당하는 단어 index를 구하고, 이를 문장으로 만든다.적절한 길이로 padding한다.이를 입력으로 먹인다.…… keras로 키워드 분석(2/5) 계속 읽기
keras로 키워드 분석(1/5)
인공지능으로 자연어 분석을 많이한다. 나도 남 따라 해보기로 했다. 조금씩 배워하므로 코드는 별거 없지만 많은 시간을 쓰고있다. 생각은 이렇다. 나는 설비 태그를 가지고 있다. 사람마다 태그 작성을 다르게 한다. 이렇게 되면 일관성없어 분석하기 어렵다. 이를 표준화? – 적어도 형식에 벗어난 태그를 찾기위해 – 하는 무엇인가 있으면 좋겠다.태그를 준비한다. 한글+영어로 구성된다.간단한 분류기를 구성한다. 처음과 끝 단어를…… keras로 키워드 분석(1/5) 계속 읽기
docker+tensorflow
나는 구형 x1055 cpu를 사용하고 있다. 10년 넘어가고 있다. 다행히 6코어라 병렬처리 지원 프로그램은 빠르다. 요즘들어 병렬처리지원 프로그램을 많이 만드는 듯 하다. 아쉽게도 avx 등 명령세트를 지원하지 않는다. 구글이 컴파일한 whl버전을 설치하면 core dumped로 죽는다. 이를 해결하려면 내가 source build를 해야한다. source build하려면 우분투 16.04에 cuda, cudnn, bazel을 설치해야 한다. 얼마? 전 나온 ubuntu 18.04를…… docker+tensorflow 계속 읽기
tensorflow 1.10 설치기
아나콘다에 tensorflow를 설치하여 사용했다. 그러나 1.6버전 이후로 tensorflow를 import하면 illegal instruction을 내고 죽었다. 혹시나 해결되었는지 1.10으로 업데이트하여 확인했다. 그러나 역시 같은 문제로 1.5로 다시 돌어왔다. 검색해 보니, 구글이 제공하는 tensorflow binary 1.6이후 파일이 cpu의 AVX를 기본지원한다. 인텔이 2008년 자사 CPU에 AVX 기능을 적용했다. 불행히도 나는 골동품 투반을 사용한다. CPU를 도저히 교체할 상황이 아니라, 힘들게 컴파일…… tensorflow 1.10 설치기 계속 읽기