A Methodology of Constructing Sentiment-Annotated Datasets for Training a FbSA model

doi:10.18627/jslg.37.3.202111.335

All Issue

2021 Vol.37, Issue 3 Preview Page Next Page

Research Article

A Methodology of Constructing Sentiment-Annotated Datasets for Training a FbSA model 자질기반 감성분석 모델 학습을 위한 주석데이터셋 FeSAD 구축 방법론: 윤정우, 남지순
Yoon, Jeong-woo and Nam, Jee-sun

30 November 2021. pp. 335-358

PDF

Abstract

This study introduces the process of constructing FeSAD (Feature-Sentiment-Annotated Dataset) based on the Semi-automatic Propagation methodology (SSP), which aims for Korean FbSA (Feature-based Sentiment Analysis). FeSAD was constructed by a 2-step annotation process: the SSP methodology is applied first, and then human annotators revise the annotated results. The linguistic resources for SSP consist of the LGG (Local Grammar Graph) patterns and the DECO (Dictionnaire Electronique du COreen) Korean machine-readable dictionaries. In this study, we evaluated the performance of the SSP-based approach with Cosmetics and Food domain texts. The result shows 0.93 and 0.90 F1-score for each domain, which reveals that the SSP-based approach could reduce the amount of the human annotators’ task by under 10%.

Keywords

Feature-Based Sentiment Analysis

Feature-Sentiment-Annotated Dataset

Semi-automatic Symbolic Propagation

Local Grammar Graph

DECO dictionary

References

김문형, 장하연, 조유미, 신효필. 2013. KOSAC (Korean Sentiment Analysis Corpus): 한국어 감정 및 의견분석 코퍼스. 『한국정보과학회 학술발표논문집』, 650-652.
남지순. 2012. 오피니언 극성을 전환하는 한국어 부정표현 자동 인식을 위한 연구. 『언어와언어학』 57, 61-94.
남지순. 2018. 『코퍼스 분석을 위한 한국어 전자사전 구축 방법론』. 도서출판 역락.
남지순. 2021. 자질기반 감성분석(FbSA) 모델의 인공지능 학습을 위한 지식베이스ㆍ패턴문법 기반 반자동 학습데이터 증강(SSP) 방법 및 장치. DICORA-TR-2021-10. 한국외대 디코라연구센터.
박상민, 나철원, 최민성, 이다희, 온병원. 2018. Bi-LSTM 기반의 한국어 감성사전 구축 방안. 『지능정보연구』, 24.4, 219-240.
신동혁, 조동희, 남지순. 2016. 한국어 감성 사전 DecoSelex 구축을 위한 영어 SentiWordNet 활용 및 보완 논의. 『한국사전학』28, 75-111. 10.33641/kolex.2016..28.75
안애림. 2011. 한국어 오피니언 문장 분류 시스템을 위한 사전 및 구문 패턴 연구. 한국외대 석사학위논문.
이도영. 2021. 온라인 텍스트종류로서의 상품평 연구 - 독일 아마존 온라인 쇼핑몰의 ‘마스크’ 상품평을 중심으로. 『독일언어문학』 0.93, 53-73.
이상진, 조은경. 2020. 책 리뷰 말뭉치를 활용한 형용사, 부사 감성 사전 개발. 『언어과학연구』 92, 27-40. 10.21296/jls.2020.3.92.27
이준환, 정성환, 노정옥, 박근호. 2013. 한국어 맛 평가 형용사에 관한 연구. 『감성과학』 16.4, 493-502.
조동희, 신동혁, 남지순. 2016. MUSE 감성주석코퍼스 구축을 위한 분류 체계 및 태그셋 연구. 『우리말연구』 47.5-47. 10.18110/urimal.2016..47.5
조수선. 2007. 온라인 신문 댓글의 내용분석: 댓글의 유형과 댓글 게시자의 성향. 『커뮤니케이션학 연구』 15.2, 65-84.
조수지, 김흥규, 양철원. 2021. 기업 재무분석을 위한 한국어 감성사전 구축. 『한국증권학회지』 50.2, 135-170.
황창회, 남지순. 2020. DecoLoTA. DICORA-TR-2020-01. 한국외대 디코라연구센터.
황창회, 유광훈, 남지순. 2018. 자질기반 감성분석을 위한 다단어표현 사전 DecoMWE 연구. 『언어와 정보 사회』 35, 407-458. 10.29211/soli.2018.35..015
Ahn, A., E. Laporte, and J. Nam. 2012. Semantic Polarity of Adjectival Predicates in Online Reviews. ArXiv, abs/1211.4161.
Aragon, O. R., M. S. Clark, R. L. Dyer, and J. A. Bargh. 2015. Dimorphous Expressions of Positive Emotion: Displays of Both Care and Aggression in Response to Cute Stimuli. Psychological Science 26, 259-273. 10.1177/0956797614561044 25626441
Ataei, T. S., K. Darvishi, B. Minaei-Bidgoli, and S. Eetemadi. 2019. Pars-ABSA: An Aspect-based Sentiment Analysis Dataset in Persian. ArXiv, abs/1908.01815.
Blitzer, J., M. Dredze, and F. C. Pereira. 2007. Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification. Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, 440-447.
Gross, M. 1997. The Construction of Local Grammars. Finite-State Language Processing, Roche and Schabes(eds.). the MIT Press.
Hyun, D., J. Cho, and H. Yu. 2020. Building Large-Scale English and Korean Datasets for Aspect-Level Sentiment Analysis in Automotive Domain. Proceedings of the 28th International Conference on Computational Linguistics, 961-966. 10.18653/v1/2020.coling-main.83
Lei, Z. and B. Liu. 2011. Identifying Noun Product Features That Imply Opinions. Proceedings of the Annual Meeting of the Association for Computational Linguistics, 575-580.
Liu, B. 2012. Sentiment Analysis and Opinion Mining. Morgan and Claypool Publishers.
Mudalige, C. R., D. Karunarathna, I. Rajapaksha, N. D. Silva, G. Ratnayaka, A. Perera, and R. Pathirana. 2020. SigmaLaw-ABSA: Dataset for Aspect-Based Sentiment Analysis in Legal Opinion Texts. 2020 IEEE 15th International Conference on Industrial and Information Systems (ICIIS), 488-493. 10.1109/ICIIS51140.2020.9342650
Nam, J.-S. 2014. A Novel Dichotomy of the Korean Adverb Nemwu in Opinion Classification. Studies in Language 38.1, 171-209. 10.1075/sl.38.1.05nam
Paumier, S. 2003. Unitex Users’ Manual. France: UPEM.
Pontiki, M., D. Galanis, J. Pavlopoulos, H. Papageorgiou, I. Androutsopoulos, and S. Manandhar. 2014. SemEval-2014 Task 4: Aspect Based Sentiment Analysis. Proceedings of the 8th International Workshop on Semantic Evaluation 27-35. 10.3115/v1/S14-2004
Ray, B., A. Garain, and R. Sarkar. 2021. An Ensemble-based Hotel Recommender System Using Sentiment Analysis and Aspect Categorization of Hotel Reviews. Applied Soft Computing 98, 106935. 10.1016/j.asoc.2020.106935
Song, M., H. Park, and K. Shin. 2019. Attention-based Long Short-Term Memory Network Using Sentiment Lexicon. Information Processing and Management 56.3, 637-653. 10.1016/j.ipm.2018.12.005
Wiebe, J., T. Wilson, and C. Cardie. 2005. Annotating Expressions of Opinions and Emotions in Language. Language Resources and Evaluation 39.2-3, 165-210. 10.1007/s10579-005-7880-9

Information

Publisher :The Modern Linguistic Society of Korea
Publisher(Ko) :한국현대언어학회
Journal Title :The Journal of Studies in Language
Journal Title(Ko) :언어연구
Volume : 37
No :3
Pages :335-358
DOI :https://doi.org/10.18627/jslg.37.3.202111.335

[1] 김문형, 장하연, 조유미, 신효필. 2013. KOSAC (Korean Sentiment Analysis Corpus): 한국어 감정 및 의견분석 코퍼스. 『한국정보과학회 학술발표논문집』, 650-652.

[2] 남지순. 2012. 오피니언 극성을 전환하는 한국어 부정표현 자동 인식을 위한 연구. 『언어와언어학』 57, 61-94.

[3] 남지순. 2018. 『코퍼스 분석을 위한 한국어 전자사전 구축 방법론』. 도서출판 역락.

[4] 남지순. 2021. 자질기반 감성분석(FbSA) 모델의 인공지능 학습을 위한 지식베이스ㆍ패턴문법 기반 반자동 학습데이터 증강(SSP) 방법 및 장치. DICORA-TR-2021-10. 한국외대 디코라연구센터.

[5] 박상민, 나철원, 최민성, 이다희, 온병원. 2018. Bi-LSTM 기반의 한국어 감성사전 구축 방안. 『지능정보연구』, 24.4, 219-240.

[6] 신동혁, 조동희, 남지순. 2016. 한국어 감성 사전 DecoSelex 구축을 위한 영어 SentiWordNet 활용 및 보완 논의. 『한국사전학』28, 75-111. 10.33641/kolex.2016..28.75

[7] 안애림. 2011. 한국어 오피니언 문장 분류 시스템을 위한 사전 및 구문 패턴 연구. 한국외대 석사학위논문.

[8] 이도영. 2021. 온라인 텍스트종류로서의 상품평 연구 - 독일 아마존 온라인 쇼핑몰의 ‘마스크’ 상품평을 중심으로. 『독일언어문학』 0.93, 53-73.

[9] 이상진, 조은경. 2020. 책 리뷰 말뭉치를 활용한 형용사, 부사 감성 사전 개발. 『언어과학연구』 92, 27-40. 10.21296/jls.2020.3.92.27

[10] 이준환, 정성환, 노정옥, 박근호. 2013. 한국어 맛 평가 형용사에 관한 연구. 『감성과학』 16.4, 493-502.

[11] 조동희, 신동혁, 남지순. 2016. MUSE 감성주석코퍼스 구축을 위한 분류 체계 및 태그셋 연구. 『우리말연구』 47.5-47. 10.18110/urimal.2016..47.5

[12] 조수선. 2007. 온라인 신문 댓글의 내용분석: 댓글의 유형과 댓글 게시자의 성향. 『커뮤니케이션학 연구』 15.2, 65-84.

[13] 조수지, 김흥규, 양철원. 2021. 기업 재무분석을 위한 한국어 감성사전 구축. 『한국증권학회지』 50.2, 135-170.

[14] 황창회, 남지순. 2020. DecoLoTA. DICORA-TR-2020-01. 한국외대 디코라연구센터.

[15] 황창회, 유광훈, 남지순. 2018. 자질기반 감성분석을 위한 다단어표현 사전 DecoMWE 연구. 『언어와 정보 사회』 35, 407-458. 10.29211/soli.2018.35..015

[16] Ahn, A., E. Laporte, and J. Nam. 2012. Semantic Polarity of Adjectival Predicates in Online Reviews. ArXiv, abs/1211.4161.

[17] Aragon, O. R., M. S. Clark, R. L. Dyer, and J. A. Bargh. 2015. Dimorphous Expressions of Positive Emotion: Displays of Both Care and Aggression in Response to Cute Stimuli. Psychological Science 26, 259-273. 10.1177/0956797614561044 25626441

[18] Ataei, T. S., K. Darvishi, B. Minaei-Bidgoli, and S. Eetemadi. 2019. Pars-ABSA: An Aspect-based Sentiment Analysis Dataset in Persian. ArXiv, abs/1908.01815.

[19] Blitzer, J., M. Dredze, and F. C. Pereira. 2007. Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification. Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, 440-447.

[20] Gross, M. 1997. The Construction of Local Grammars. Finite-State Language Processing, Roche and Schabes(eds.). the MIT Press.

[21] Hyun, D., J. Cho, and H. Yu. 2020. Building Large-Scale English and Korean Datasets for Aspect-Level Sentiment Analysis in Automotive Domain. Proceedings of the 28th International Conference on Computational Linguistics, 961-966. 10.18653/v1/2020.coling-main.83

[22] Lei, Z. and B. Liu. 2011. Identifying Noun Product Features That Imply Opinions. Proceedings of the Annual Meeting of the Association for Computational Linguistics, 575-580.

[23] Liu, B. 2012. Sentiment Analysis and Opinion Mining. Morgan and Claypool Publishers.

[24] Mudalige, C. R., D. Karunarathna, I. Rajapaksha, N. D. Silva, G. Ratnayaka, A. Perera, and R. Pathirana. 2020. SigmaLaw-ABSA: Dataset for Aspect-Based Sentiment Analysis in Legal Opinion Texts. 2020 IEEE 15th International Conference on Industrial and Information Systems (ICIIS), 488-493. 10.1109/ICIIS51140.2020.9342650

[25] Nam, J.-S. 2014. A Novel Dichotomy of the Korean Adverb Nemwu in Opinion Classification. Studies in Language 38.1, 171-209. 10.1075/sl.38.1.05nam

[26] Paumier, S. 2003. Unitex Users’ Manual. France: UPEM.

[27] Pontiki, M., D. Galanis, J. Pavlopoulos, H. Papageorgiou, I. Androutsopoulos, and S. Manandhar. 2014. SemEval-2014 Task 4: Aspect Based Sentiment Analysis. Proceedings of the 8th International Workshop on Semantic Evaluation 27-35. 10.3115/v1/S14-2004

[28] Ray, B., A. Garain, and R. Sarkar. 2021. An Ensemble-based Hotel Recommender System Using Sentiment Analysis and Aspect Categorization of Hotel Reviews. Applied Soft Computing 98, 106935. 10.1016/j.asoc.2020.106935

[29] Song, M., H. Park, and K. Shin. 2019. Attention-based Long Short-Term Memory Network Using Sentiment Lexicon. Information Processing and Management 56.3, 637-653. 10.1016/j.ipm.2018.12.005

[30] Wiebe, J., T. Wilson, and C. Cardie. 2005. Annotating Expressions of Opinions and Emotions in Language. Language Resources and Evaluation 39.2-3, 165-210. 10.1007/s10579-005-7880-9

The Journal of Studies in Language ISSN:1225-4770(Print) 2671-6151(Online) 언어연구

All Issue