Text Style Transfer for Bias Mitigation using Masked Language Modeling Ewoenam Kwaku Tokpo, Toon Calders. Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop. 2022. aclanthology.org GitHub - EwoeT/MLM-style-transfer Contribute to EwoeT/MLM-style-transfer development by creating a..

Auto-Debias: Debiasing Masked Language Models with Automated Biased Prompts Yue Guo, Yi Yang, Ahmed Abbasi. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2022. aclanthology.org GitHub - Irenehere/Auto-Debias Contribute to Irenehere/Auto-Debias development by creating an account on GitHub. github.com Abstract Pretrained Language M..

Abstract 언어 모델의 발전이 거듭되며 task에 따라 dataset, benchmark의 병목이 일어남 요약 모델은 human reference summarization(인간이 작성한 요약)을 예측하고 학습하고, 이를 ROUGE를 사용하여 평가하지만, 우리가 실제로 느끼는 '요약 품질'과는 거리가 있음 본 논문에서는 사람의 선호도를 최적화하기 위해 모델을 학습하는 방법으로 요약 품질을 최대화할 수 있는 것을 증명함 사람이 직접 요약을 비교한 데이터셋을 수집하고, 더 선호하는 요약을 예측하는 모델을 학습시킨 후 모델의 강화학습을 통해 요약 정책을 세밀하게 fine-tuning함 Reddit의 TL;DR 데이터셋을 사용하여 방법을 적용하였고, 큰 모델에 human reference summarizat..

Abstract 머신러닝 기술이 사회에서 신뢰성이 중요한 결정 과정에서의 중요한 역할을 담당함에 따라, 사회적 편견과 고정관념의 형성 과정을 인식하는 것이 중요해짐 실제 환경에서 대규모 사전 학습 언어 모델 등의 머신러닝 모델이 잠재적으로 위험한 것으로 나타남 성별, 인종, 종교 및 사회 구성에서 부정적인 일반화를 유도하는 편향을 포함하는 것으로 알려짐 이러한 공정성을 개선하기 위해, 새로운 벤치마크와 메터릭을 제안하고, 측정하는 방법을 제시함 이러한 도구들을 이용해 텍스트 생성 과정에서 편향을 완화하기 위한 기법을 제안 실험 결과 및 인간 평가는 편향을 완화하면서 고정적인 문맥 정보를 유지하므로 고성능-공정성 Pareto frontier을 전진시키는 효과를 보여줌 1. Introduction 머신러닝 ..

Abstract 이 논문에는 노골적으로 노골적인 용어와 모델 출력이 포함되어 있음 인터넷에서 수집한 대규모 데이터도 마찬가지 수많은 데이터를 이용해 학습하기 때문에 이러한 문제에서 벗어나기는 어려움 그래서 본 논문에서는 pre-train된 Language Model의 Self-diagnosis(자체 진단 기능)을 통해 모델 스스로 bias와 generate하는 문장의 toxic의 정도를 측정하도록 함 측정 결과를 바탕으로 텍스트 설명을 활용한 decoding 알고리즘인 self-debiasing을 제안 텍스트 설명 모델 사용자가 "성별에 따라서 급여가 차별적으로 결정되는 것은 문제가 됩니다"와 같은 텍스트 설명을 제공할 수 있음 이를 통해 모델이 "남자"나 "여자"와 같은 단어를 사용하여 성별에 따른 급..

Abstract CNN, RNN을 활용한 모델에 Attention을 활용했을 때, 좋은 결과를 얻을 수 있었다. 따라서 Attention을 기반에 둔 Tramsformer라는 모델을 제안한다. 이때, RNN과 CNN을 제거해서 행렬곱만으로 연산을 수행하도록 한다. 이 모델을 사용했을 때, SOTA급 성능을 독일어, 프랑스어의 번역에서 볼 수 있었다. 8개의 GPU를 이용하여 테스트를 진행했을 때, 이전의 모델보다 훨씬 개선된 결과를 얻을 수 있었다. 대표적으로 구문 분석 분야에서 효과적인 결과를 활용할 수 있었다. 1. Introduction 기존의 딥러닝 모델인 RNN, LSTM, GRU는 연속적인 모델링에서 뛰어난 성과를 보였다. 하지만 이러한 연속성을 띄기 위해 여러 Hidden State를 생성하..

본 글을 보기 전에 https://bumblog.tistory.com/7 글을 참고하면 더 쉽게 이해 가능합니다! 2013년에 발표된 "Efficient Estimation of Word Representations in Vector Space" 논문에서 제안된 Word2Vec에 대한 리뷰를 하려고 합니다. 1. Introduction of Word2Vec Word Embedding 기법은 Sparse Representation을 거쳐 Dense Representation으로, 여러 방법론들을 통해 발전해왔습니다. 그러나 기존의 방법들은 단어 간의 의미를 충분히 반영하지 못하는 문제가 있었습니다. 이에 Word2Vec은 Distributed Representation을 기반으로 주변 단어들과의 관계를 이..

인간의 언어를 컴퓨터에게 이해시켜 원하는 결과를 얻기 위해서는 Input을 숫자로 변환하는 작업이 필요합니다. 컴퓨터가 이해하기 편하도록 문자를 처리할수록 성능이 좋아지기 때문에, 변환 기술에 대한 연구가 계속해서 논의되어 왔습니다. 이렇게 단어를 숫자로 표현해 Vectorize 하는 기술을 Word Embedding이라고 합니다. 1. Word Embedding 앞서 설명했듯이, Word Embedding은 단어를 N차원의 벡터로 바꾸어 주는 기술입니다. 이러한 Word Embedding 기술에는 Sparse Representation Dense Representation 이 있는데, 먼저 Sparse Representation에 대해서 설명하겠습니다. 1.1 Sparse Representation (..