본문 바로가기

Computer/ML·DL·NLP26

[ML] 머신러닝 모델에서의 head, backbone이란? 태스크 : 주어진 텍스트를, HuggingFace에 serving되고 있는 Sentence Transformer를 활용하여 embedding 후, 분류하라 -> HuggingFace의 틀에 맞춰서 모델이 들어가 있으니, HuggingFace 사이트에서 각각 class와 attribute 등에 대한 문서를 살펴보도록 하자 -> HuggingFace의 'pipeline'기능은 모델 전체 기능을 활용하기보다, 선별적으로 사용하고 싶을 때 유용하다. 예를 들어 어떤 모델에서 ner(named entity recognition) 기능만 가져다 쓰고 싶다거나, 감성분석만 하고 싶다거나... 그래서 HuggingFace의 Feature Extraction Pipeline을 사용하려고 문서를 찾아보니... https:.. 2022. 8. 29.
Sequential Model 이란? model = Sequential() python - What is meant by sequential model in Keras - Stack Overflow What is meant by sequential model in Keras I have recently started working Tensorflow for deep learning. I found this statement model = tf.keras.models.Sequential() bit different. I couldn't understand what is actually meant and is there any stackoverflow.com There are two ways to build Keras models: sequen.. 2022. 7. 1.
[스크랩] jaehyeong 님의 Basic NLP [Basic NLP] Sequence-to-Sequence with Attention (velog.io) [Basic NLP] Sequence-to-Sequence with Attention Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s velog.io [Basic NLP] Transformer (Attention Is All You Need) (velog.io) [Basic NLP] Transformer (Attention Is All You Need) Intro지난 포스트인 Seq.. 2022. 6. 27.
[스크랩] monologg님의 KoELECTRA 개발기 2주 간의 KoELECTRA 개발기 - 1부 - Monologg Blog 2주 간의 KoELECTRA 개발기 - 1부 2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다. 이 글을 읽으신 분들은 내가 했던 삽질(?)을 최대한 덜 하길 바라는 마음이다:) 1부에는 실제 학습을 돌리기 전까지의 과정을 다룰 monologg.kr 2주 간의 KoELECTRA 개발기 - 2부 - Monologg Blog 2주 간의 KoELECTRA 개발기 - 2부 2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다. 이 글을 읽으신 분들은 내가 했던 삽질(?)을 최대한 덜 하길 바라는 마음이다:) 2부에는 Pretraining, Finetuning 등을 다룰 예정이다. Gith mo.. 2022. 6. 27.
[스크랩] 화해 Data team의 Beauty Domain-Specific Pre-trained Language Model 개발하기 Beauty Domain-Specific Pre-trained Language Model 개발하기 (hwahae.co.kr) Beauty Domain-Specific Pre-trained Language Model 개발하기 BERT 화해팀은 우리가 가진 데이터를 어떻게 잘 가공해서 앱을 이용하는 고객들에게 더 좋은 서비스로 돌려드릴 수 있을지를 지속적으로 고민해 왔는데요, Hwahae PLM 개발의 출발점이 된 저희의 질 blog.hwahae.co.kr 2022. 6. 27.
[NLP] 윈도우 Windows에서 Mecab 사용하기! (주피터 / VSCode / Colab 등등) 윈도우 사용자라면 눈물을 머금고 구글링할 한국어 형태소 분석기 설치방법,, 간단하고 빠른 2가지 방법 제시해드립니다. 1. Jupyter Notebook 혹은 로컬에서 사용하는 경우 [이수안컴퓨터연구소] 자연어 처리 Natural Language Processing 기초 2 한국어 NLP (Feat. Windows에서 Mecab 사용하기!) (tistory.com) [이수안컴퓨터연구소] 자연어 처리 Natural Language Processing 기초 2 한국어 NLP (Feat. Windows에서 Mecab 사 https://www.youtube.com/watch?v=2e9wnwuAVv0&list=PL7ZVZgsnLwEEoHQAElEPg7l7T6nt25I3N 다음 에러로 해당 블로그를 방문하신 분들은.. 2022. 2. 28.