• papers

Related Work : Sentence Embedding

• sentence-BERT(2019)
  • Skip-Thought(2015) : encoder-decoder구조
  • InferSent(2017) : a siamese BiLSTM network with max-pooling over the output + SNLI dataset + multigenre NLI dataset
  • Universal Sentence Encoder(2018) : transformer network + SNLI를 unsupervised learning을 통해 augmentation
  • Learning Distributed Representations of Sentences from Unlabelled Data(2016) : sentence 임베딩이 잘 훈련된 태스크는 임베딩 퀄리티에 영향을 준다는 것을 증명
  • SNLI dataset이 문장임베딩 훈련에 적합한 데이터셋인 이유를 증명하는 페이퍼 : Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
  • **Learning Semantic Textual Similarity from Conversations :** siamese DAN과 siamese transformer을 reddit에서 대화데이터셋으로 학습시킴.
• https://aclanthology.org/D17-1070.pdf (2017)
  • sentence representation learning은 대부분 unsupervised로 학습됨.
  • embedding the semantics of a whole sentence를 가장 잘하는 방법론은 아직 없는듯.
  • supervised learning을 하다보면 해당 태스크에 대한 bias들을 잘 학습해서 전반적인 정보나 의미를 쉽게 잊음. unsupervised learning의 문제는 모델을 specializing하기가 어렵다는 거지..ㅠ
  • 좀 복잡한 모델들이 최근에 소개 되었어
    • SkipThought : skip-gram model을 word-level → sentence-level로 적용시켰어. 문장 주변의 것들을 예측하는거로 sentence를 인코딩하고 linear model에 feature들을 사용해보니 꽤 좋은 성능을 내더라고
      • 특정 문장의 주변 문장들을 reconstruction하면서 만들어진 hidden vector를 representation vector로 사용함.
• simCSE
  • word representation의 확장판
  • data augmentation :
    • contrastive objectives(simCSE)
  • NLI dataset + pretrained models
  • wieting 저자 : bilingual and back-translation corpora는 learning semantic similarity에 유용하다.
  • representation degeneration
    • solution : regularizing embedding

Learning Distributed Representations of Sentences from Unlabelled Data 😕

• distributed phase, sentence representation를 학습하는 데에 어떤 것이 최적의 방법인지 알려져있지 않으니 우리가 분석해줄게!

• 깊고 복잡한 모델은 supervised system에 잘 작동하고, 얕고 log-bilinear 모델은 representation space를 잘 만듦.

• 훈련시간, 도메인 portability, performance 사이의 trade-off를 최적화하는 unsupervised representation-learning objectives 제안

• ‘어떤 representation이 좋은건가’에 대한 논문 : https://aclanthology.org/J15-4004.pdf

• word와 sentence embedding을 구분. word embedding을 이어서 사용하는 것이 아니라 해당 sentence를 embedding하려는 것

< 종류별로 모델 들고와서 supervised task와 unsupervised learning을 해서 평가해봄.>

• evaluating sentence representation
  • supervised 평가 : 분류 태스크에서 representation을 추가해서 효과를 측정하는 것. general knowledge를 supervised model에 넣어서 평가한다고 생각하면됨.
    • 6개의 문장 분류 태스크
  • unsupervised 평가 : 사람 관련도 평가와 비교하기. sentence representation space가 직접적 비교로 사용됨.
    • 의미적으로 문장이 비슷한가에 대해 인간의 직관을 반영하여 잘 표현하고 있는지 측정해야함.
    • cosine distance
    • dataset : SICK, STS