## max_length

# 한글은 토큰화되는 방법이 다르기 때문에 항상 확인해주고 있다. 

.. snip 

tr['length']=tr['title'].apply(lambda line:len(tokenizer.encode(line)))

import seaborn as sns

sns.histplot(data=tr, x="length", binwidth=3)

## 학습 과정

# koelectra모델은 토큰화되어 임베딩까지 된 ids들을 받아서 attention_mask와 함께 입력된다. 
# kobert로도 해봤는데 kobert는 안됐다. 모델마다 다른가보다.

losses = []
accuracies = []

for i in range(epochs):
  total_loss = 0.0
  correct = 0
  total = 0
  batches = 0

  model.train()

  for input_ids_batch, attention_masks_batch, y_batch in tqdm(train_loader):
    optimizer.zero_grad()
    y_batch = y_batch.to(device)
    y_pred = model(input_ids_batch.to(device), attention_mask=attention_masks_batch.to(device))[0]
    loss = F.cross_entropy(y_pred, y_batch)
    loss.backward()
    optimizer.step()

    total_loss += loss.item()

    _, predicted = torch.max(y_pred, 1)
    correct += (predicted == y_batch).sum()
    total += len(y_batch)

    batches += 1
    if batches % 100 == 0:
      print("Batch Loss:", total_loss, "Accuracy:", correct.float() / total)

  losses.append(total_loss)
  accuracies.append(correct.float() / total)
  print("Train Loss:", total_loss, "Accuracy:", correct.float() / total)

.. endsnip

## 참고
# https://camelot-py.readthedocs.io/en/master/

.. snip 

import camelot
tables=camelot.read_pdf('your.pdf',pages='0,1,2') 

# 실행
tables[0].df

..endsnip

## 참고 
## https://luminitworld.tistory.com/92 - 예제
## https://developers.google.com/youtube/v3/code_samples/python - sample

## 특정 동영상의 없는 지표를 가져오기 위해 0으로 대체하는 코드다. 
.. snip

def get_stat(response):
    try:
        view=int(response['items'][0]['statistics']['viewCount'])
    except:
        view=0
    try:
        like=int(response['items'][0]['statistics']['likeCount'])
    except:
        like=0
    try:
        dislike=int(response['items'][0]['statistics']['dislikeCount'])
    except:
        dislike=0
    try:
        comment=int(response['items'][0]['statistics']['commentCount'])
    except:
        comment=0
    return view,like,dislike,comment

.. endsnip

.. snip



.. endsnip

## 카이제곱 동일성 검정 vs 독립성 검정 
## 엄밀히 차이 없다. 
## 가중치를 할당해주면 바로 넘어가고 안하면 셀에 대해서 빈도를 정해준다. - SPSS
## 교차표에서 행은 독립변수. 열에 종속변수로 작성. - 다시보니 문제에 맞게만 하면 되는 것 같다.
## 기대도수가 0을 포함하거나 5보다 작은 셀이 전체의 20%를 초과하면 못한다. - 카이제곱 검정 가정이다.

## 독립표본 T 검정
## 두 집단 간의 평균분석
## 두 집단이 독립이라는 가정이 있다.

## 대응표본 T 검정
## 독립이라는 가정이 필요 없고, 짝만 맞으면 된다. 
## 보통 전후 개념이 있다.

## 일원배치분산분석
## 요인의 수에 따라 다원배치분산분석이 될 수 있고, 결국은 집단의 수가 3개의 이상의 경우 모평균을 비교할 때 사용.
## levene 등분산검정이 필요하다. levene 검정의 귀무가설은 모분산이 같다. 이다. 
## 요인에 따라 평균의 차이가 없다.면 굳이 다음에 사후검증을 할 필요가 없다.

## 상관계수
## pearson 연속형 이변량 연관성
## kendall의 타우는 순위척도에 연관성
## spearman kendall과 비슷함.

## 회귀
## 단계선택법 : 일바적으로 유의확률 p값을 이용하는 경우 진입은 0.05,제거는 0.1.
## 검정통계량 F값을 이용하는 경우 지입은 2 제거는 1.99

## 독일어는 umlaut이 있기 때문에 일반 text로 저장을 못한다. 즉, utf-8 형태로 encoding을 하고
## 그 후에 decode를 해야한다. 

.. snip
## 쓰기
if idx==0:
    f=open('neg_review.txt','wb')
    f.write(text)
else:
    f=open('neg_review.txt','ab')
    f.write('\n')
    f.write(text)

## 읽기
text_list=[]

with open('neg_review.txt','rb') as f:
    lines = f.readlines()
    for line in lines:
        line=line.decode('utf-8')
        line=line.strip('\n')
        text_list.append(line)

.. endsnip

.. snip
## spacy와 Counter - 빈도 계산 
noun_list=[]

for text in text_list:
    doc=nlp(text)
    for token in doc:
        if token.pos_=='PROPN' or token.pos_=='NOUN':
            noun_list.append(token.lemma_)

from collections import Counter

noun_freq=Counter(noun_list)

from wordcloud import WordCloud

import matplotlib.pyplot as plt

# Create and generate a word cloud image:
wordcloud = WordCloud(font_path='Berolina.ttf',stopwords=stop_words.STOP_WORDS,
                      max_font_size=30,max_words=30,background_color="white").generate_from_frequencies(noun_freq)

# Display the generated image:
plt.figure()
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

# wordcloud.to_file("img/first_review.png")

.. endsnip

.. snip
## spacy 나오는 언어 모를 때
print(spacy.explain('pd'))

## jupyter에서 사용 가능하고, 그림으로 문법을 이해하고 싶을 때 
displacy.render(doc, style="dep")

.. endsnip

.. snip
## spacy 공부&설치

## 독일어 공부 spacy
https://course.spacy.io/de

# 독일어 알파벳
https://ko.wiktionary.org/wiki/%EB%B6%80%EB%A1%9D:%EB%8F%85%EC%9D%BC%EC%96%B4_%EC%95%8C%ED%8C%8C%EB%B2%B3

# pos 태깅
https://universaldependencies.org/docs/u/pos/


## 설치 
conda install -c conda-forge spacy
python -m spacy download de_dep_news_trf # 독어 : spacy install 페이지에서 선택하여 다른 언어 가능.

spacy.load('de_dep_news_trf')


.. endsnip

## 참고
## https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=textom&logNo=221911359583

## 1. 토픽선택
단어 어떤 단어인지 안나온다. 그래서 코드로 밑에 확인할 수 있는 방법을 썼다.

## 2. 토픽간의 거리 
토픽 간의 거리가 멀 수록 판별 타당도가 높고 주제가 뚜렷하게 구분된다. 토픽 간의 거리가 가깝거나 겹쳐져 있다면 판별 타당도가 낮음으로 비슷한 주제를 나타낸다. 

## 3. 토픽의 크기 
토픽 원의 크기가 클 수록 높은 빈도수의 단어들로 구성되어 있다. 가장 큰 원이 메인 토픽이라고 해석할 수 있다. 
인덱스가 크기랑 관련있는 것처럼 직관적이니 한눈에 알 수 있다.

## 4. λ(람다) 값 설정  
λ(람다) 값을 조절하여 토픽을 구성하는 단어의 출현 조건을 설정할 수 있다.
λ값이 낮을수록 각 토픽을 구성하는 단어가 뚜렷해지지만 비교적 빈도가 낮은 단어들로 구성된다. 
따라서, 토픽 분별력을 높이기 위해서는 낮은 빈도로 출현하는 단어들에 대해서도 정확한 정제가 필요하다.

## 5. 토픽 구성 단어 
토픽을 구성하는 단어들을 확인할 수 있으며, 파란막대그래프는 전체 단어의 빈도를, 빨간막대그래프는 해당 토픽에서의 빈도를 보여준다.