-
Stable Diffusion Code Explained: train step & timestep 차이점
https://github.com/huggingface/diffusers/blob/ebf581e85f3aad7faa30ceb4678148ee87375446/examples/text_to_image/train_text_to_image.py 논문 한 번 읽었다고 SD 프로세스를 이해한 것은 절대 아니다! 직접 코드를 뜯어보고 GPT한테 물어도 보고 하면서 이해하려고 노력해야 조금이나마 내 것이 되는 것 같다.. 위 깃헙에서 main 함수 중 루프 돌면서 학습하는 부분만 가져와 봤다. 이해한 내용은 모두 한글로 주석을 달아 두었다. # 매 epoch마다.. (training step이라고도 하고, 100~1000회정도로 고정) for epoch in range(first_epoch, args.num_train..
2024.02.19
-
torchvision.transforms.Compose
https://yeko90.tistory.com/entry/pytorch-transformsCompose-tutorial [pytorch] transforms.Compose 사용 방법 방대한 데이터 이미지를 한번에 변형 시킬 필요가 자주 있다. 이때 일일이 수작업으로 이미지를 변환한다면 리소스 낭비가 이만저만이 아닐거다. 이에 대한 해결책으로 torchvision.transforms.Compose yeko90.tistory.com 한꺼번에 이미지 데이터셋을 resize 및 전처리해야할 때 사용함
2024.01.26
-
[PyTorch] .grad.zero_() zero_grad() 차이점
pytorch에서 gradient 값을 저장하는 방식 - 모든 파라미터(모델에서 학습하고자 하는 대상)에 .grad 라는 attribute를 붙여서, 파라미터마다 grad를 보관 - 어떤 파라미터를 학습할지는 초기에 텐서를 만들 때 requires_grad=True 옵션을 줘서 지정한다. .grad.zero_() zero_grad() 를 하는 이유 - gradient를 계산할 때 pytorch가 자동으로 gradient 값을 누적(accumulate)하기 때문. - 한 번 .backward() 를 불렀으면 그 값이 각 파라미터의 .grad에 누적되고, 따라서 나중에 한 번 더 .backward() 를 불렀을 때 영향을 끼침 - 따라서 .backward() 를 부르기 전에, 파라미터의 .grad에 원래 누..
2024.01.16
-
웹밴
https://m.blog.naver.com/ichbinjhk/222530225251 실패로 끝난 웹밴(Webvan)의 라스트마일 전략 웹밴은 1996년 루이스 보더가 창업한 온라인 무점포 슈퍼마켓입니다. 웹밴에서는 주로 식료품과 가정용품을... blog.naver.com https://n.news.naver.com/article/008/0000077588?sid=101 온라인 식료품업체 웹밴 끝내 파산 한때 각광받았던 온라인 식료품업체인 웹밴 그룹이 재정 압박과 실적 악화를 견디지 못하고 결국 파산절차에 들어갔다. 웹밴의 최고경영자인 로버트 스완은 9일(현지시간) “우리는 영업손실을 n.news.naver.com
2022.12.25
-
if __name__ == “__main__”
https://davey.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-%EA%B0%95%EC%A2%8C-if-name-main-%EC%82%AC%EC%9A%A9-%EC%9A%A9%EB%8F%84 if __name__ == '__main__' : 사용 용도 이해하고 활용하기 안녕하세요, Davey 입니다. 오늘은 간혹 보이는 구문인, if __name__ == '__main__' : 의 조건문의 의미와 왜 사용하는지, 그리고 사용하는 방법에 대해서, 제 나름대로 이해한 부분을 설명 드리도록 하겠 davey.tistory.com
2022.12.16
-
[KoBigBird] Basemodel, configuration
실수하면서 배우는 딥러닝....😭 https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertConfig BERT call ( input_ids: typing.Union[typing.List[tensorflow.python.framework.ops.Tensor], typing.List[numpy.ndarray], typing.List[tensorflow.python.keras.engine.keras_tensor.KerasTensor], typing.Dict[str, tensorflow.python.framework.ops.Tensor], typin huggingface.co
2022.12.16
-
[크롤링] NoSuchElementException 원인: 크롤링 창이 전체화면이 아닌 경우!
웹 페이지마다 다르겠지만, 분명 개발자 도구에서 element가 있는 것을 확인했는데 막상 크롤링을 돌리면 그런 element가 없다는 문구가 나오는 경우가 있습니다. 이럴 때는 혹시 웹사이트가 창 크기에 따라서 구성이 달라지지는 않는지 확인해보면 좋습니다. 예시) 인스타그램 웹사이트를 작은 창으로 띄우면 모바일로 보는 것과 같은 화면이 나오지만, 전체 화면으로 보면 그 우측에 추천 친구가 뜹니다. -> 해결법: driver.maximize_window() 사용하기. 웹드라이버 인스턴스를 생성(= 새로운 크롤링 window 생성)한 뒤, 해당 객체에 maximize_window() 메소드를 사용하면 해당 window가 전체 화면으로 확장됩니다!
2022.12.16
-
[VScode 서버 연결 끊길 때] Cannot reconnect. Please reload the window.
vscode로 모델 학습 시 학습시간이 오래 걸려서 그 사이 서버와의 연결이 끊어질 수 있음 -> tmux 사용하기! tmux 명령어: https://on-ai.tistory.com/10 [Tmux] Terminal에서 다중창 띄우기 저는 terminal 창에서 코드를 작성하는 로망을 가지고 있습니다..! 주변의 다른 코드를 만지는 사람들도 영화 속 한장면과 같은 이러한 로망을 가지고 있었는데요..? 하지만, 이것은 사용자 입장에 on-ai.tistory.com tmux에서 스크롤 사용하기: https://ijsilver.tistory.com/52 tmux scroll 올리기 tmux 사용하면서 지나간 내용을 보고싶은데 스크롤이 올라가지 않는다. 스크롤 모드로 넘어가야 한다. 컨트롤 + b 을 누르고 [..
2022.12.14
-
[ML] train, valid, test batch size 조정하기, 그 영향
https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce How to Break GPU Memory Boundaries Even with Large Batch Sizes Overcoming the problem of batch size and available GPU memory in training neural networks towardsdatascience.com https://stackoverflow.com/questions/54413160/training-validation-testing-batch-size-ratio Training, Validation, Tes..
2022.12.06
-
[Redash] name '_inplacevar_' is not defined
Error 메세지: name '_inplacevar_' is not defined Redash에서 서비스하는 python은 여러가지 제약조건이 걸려 있으므로 이에 맞추어 코드를 수정해줘야 한다. 위 에러의 경우 파이썬에서 기본적으로 제공하는 연산자인 (ㅜㅜ) 할당연산자를 redash에서 지원하지 않기 때문에 일어나는 에러이므로, count += 1 와 같은 코드를 count = count + 1 로 수정해야 한다. 할당연산자에 대해서는 밑 링크에서 확인.. https://wikidocs.net/1160 4.3. 할당 연산자 ### 할당 연산자 (Assignment Operators): a = 10, b = 20 이라 가정한다. | Operator | Description | Example | |… wik..
2022.12.01
-
[카카오스타일] 데이터 분석가
◆ 직원유형 정규직 ◆ 카카오스타일을 소개합니다 카카오스타일은 모든 사람이 나만의 특별한 스타일을 가지고 있고, 내가 좋아하는 무언가를 발견했을 때의 즐거움이 나의 일상을 더욱 나답게 만든다고 믿습니다. 내 마음을 읽은 듯한 개인화 추천으로 누구나 나만의 스타일을 쉽게 찾도록 도움으로써 다양한 스타일이 공존하는 세상을 만들겠습니다. 9000개 이상의 쇼핑몰과 다양한 브랜드를 한 플랫폼에 모아 보여주는 카카오스타일의 서비스 '지그재그'는 2015년 6월 서비스 출시 이후, MAU 370만, 3,800만 다운로드, 누적 거래액 4조원 이상을 달성하며 국내 1위 스타일 커머스 앱으로 자리 잡게 되었습니다. ◆ 우리 팀을 소개합니다 카카오스타일의 데이터 분석가는 프로덕트 관점에서 데이터 기반의 솔루션을 제공하고..
2022.10.23
-
[29CM (무신사)] Data Analyst
"GUIDE TO BETTER CHOICE" 2011년 서비스를 시작한 29CM(이십구센티미터)는 패션·뷰티·라이프스타일 등 국내외 다양한 카테고리의 브랜드를 소개하는 온라인 편집샵 입니다. 소비자가 미처 알지 못했던 브랜드를 발굴하고 그들이 지닌 가치를 29CM만의 스토리텔링 방식으로 전달하여 고객들이 더 나은 선택을 할 수 있도록 돕는 것이 우리의 미션(Mission)입니다. "COMMERCE X MEDIA" 29CM는 New Shopping Platform을 지향하며 다른 플랫폼에서는 볼 수 없는 차별화된 고객 구매 경험을 끊임없이 제공합니다. 브랜드의 철학과 스토리를 29CM만의 톤앤매너로 전달하는 'PT'(온라인 프레젠테이션), 29초의 짧은 영상을 통해 제품을 바로 구매할 수 있는 쇼퍼블 비디..
2022.10.23
-
[29CM (무신사)] 추천 엔지니어
"GUIDE TO BETTER CHOICE" 2011년 서비스를 시작한 29CM(이십구센티미터)는 패션·뷰티·라이프스타일 등 국내외 다양한 카테고리의 브랜드를 소개하는 온라인 편집샵 입니다. 소비자가 미처 알지 못했던 브랜드를 발굴하고 그들이 지닌 가치를 29CM만의 스토리텔링 방식으로 전달하여 고객들이 더 나은 선택을 할 수 있도록 돕는 것이 우리의 미션(Mission)입니다. "COMMERCE X MEDIA" 29CM는 New Shopping Platform을 지향하며 다른 플랫폼에서는 볼 수 없는 차별화된 고객 구매 경험을 끊임없이 제공합니다. 브랜드의 철학과 스토리를 29CM만의 톤앤매너로 전달하는 'PT'(온라인 프레젠테이션), 29초의 짧은 영상을 통해 제품을 바로 구매할 수 있는 쇼퍼블 비디..
2022.10.23
-
[221017] AI 투자 전년 대비 33% 감소
http://www.aitimes.com/news/articleView.html?idxno=147352 경기불황 영향 커... 창업 붐 일어 내년엔 다시 증가 전망 인공지능(AI) 분야 투자가 전년 대비 60~70% 수준으로 줄어들었다는 분석 결과가 나왔다. 포브스는 17일(현지시간) 미국의 벤처 캐피탈인 에어스트리트캐피탈 보고서를 인용해 팬데믹으로 인한 세계적인 경기 불황으로 AI 분야 투자가 크게 줄어들면서 AI 스타트업 투자가 지난해보다 33% 감소한 475억달러(약 68조1150억원)에 그칠 것으로 전망된다고 보도했다. 특히 지난해 AI 전반에 대한 투자가 역대 최고를 기록한 터라 올해 감소 폭이 더욱 두드러져 보인다고 보고서는 지적했다. 올해 AI 분야 투자액은 전년 대비 36% 가량 줄어들 것..
2022.10.20
-
[221019] '생성 AI' 스타트업에 돈 몰린다...올해 3500억원 이상 투자 유치
http://www.aitimes.com/news/articleView.html?idxno=147413 '생성 AI' 스타트업에 돈 몰린다...올해 3500억원 이상 투자 유치 - AI타임스 명령어를 입력하면 글이나 이미지, 동영상 등을 만들어 주는 ‘생성(Generative)’ 인공지능(AI)으로 돈이 모이고 있다.19일(현지시간)자 테크크런치를 비롯해 최근 관련 기사를 게재한 외신을 종합 www.aitimes.com 스태빌리티AI 이어 야스퍼도 유니콘 기업 합류 명령어를 입력하면 글이나 이미지, 동영상 등을 만들어 주는 ‘생성(Generative)’ 인공지능(AI)으로 돈이 모이고 있다. 19일(현지시간)자 테크크런치를 비롯해 최근 관련 기사를 게재한 외신을 종합하면 올들어 생성 AI 스타트업에 몰린..
2022.10.20
-
[seaborn] histplot legend 순서 뒤집는 법, 바꾸는 법
stacked countplot을 그릴 때 가장 쉽게 구현할 수 있는 방법이 seaborn의 histplot에 hue 파타미터를 지정해주는 것인데요, matplotlib이나 seaborn에서 제공하는 다른 플랏 객체들과는 달리 seaborn의 histplot은 legend의 순서를 쉽게 바꿀 수 없습니다. 그런데 기본적으로 제공하는 legend의 순서가 stack이 된 순서와는 역순이라는 문제점이 있습니다. legend와 bar의 순서가 뒤바뀌어 있어서 눈으로 보고 해석하기에 상당히 헷갈립니다. matplotlib legend order reverse change plot legend order reverse legend legend order seaborn .. 등등 다양한 검색어로 검색해 보았지만 뚜..
2022.10.20
-
[Google Sheets/Apps Script] 구글 시트 테두리 자동화하기
엑셀을 활용할 때에는 행 / 열이 추가될 때마다 테두리를 자동으로 적용할 수 있는데요, 구글 시트에서는 기본적으로 이러한 기능을 지원하고 있지 않습니다. 따라서 새로운 행/열이 추가될 때마다 기존에 있던 테두리를 지우고, 새로 만들어 줘야 하는데요 Google Apps Script를 활용하면 간단하게 기존에 있던 테두리를 지우고 새로 만들 수 있습니다. Google Apps Script 공식 문서는 다음 링크에 있습니다. https://developers.google.com/apps-script/samples Apps Script 샘플 개요 | Google Developers 이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 의견 보내기 Apps ..
2022.10.19
-
[221012] 메타-MS, 메타버스 '경쟁'보다 '공존' 선택
http://www.aitimes.com/news/articleView.html?idxno=147265 메타-MS, 메타버스 '경쟁'보다 '공존' 선택 - AI타임스 메타와 마이크로소프트(MS)가 메타버스 분야에서 경쟁하기 보다는 공존하는 방안을 모색하기로 했다.메타가 구축한 메타버스 공간에서 MS의 화상회의나 윈도우를 비롯한 솔루션을 사용할 수 있 www.aitimes.com 잠재적 라이벌에서 동업자로...파트너십 체결 메타와 마이크로소프트(MS)가 메타버스 분야에서 경쟁하기 보다는 공존하는 방안을 모색하기로 했다. 메타가 구축한 메타버스 공간에서 MS의 화상회의나 윈도우를 비롯한 솔루션을 사용할 수 있도록 하는 등의 협업을 진행할 것으로 보인다. 마크 저커버그 메타 CEO는 12일 개최한 연례 컨퍼런..
2022.10.13
-
[PCA] 공분산 행렬, PCA
https://m.blog.naver.com/tjdrud1323/221720259834 PCA(주성분 분석)_Python(파이썬) 코드 포함 PCA PCA는 무엇이며 언제 사용하는가? https://www.youtube.com/watch?v=FgakZw6K1QQ P... blog.naver.com https://www.youtube.com/watch?v=jNwf-JUGWgg 공분산 행렬 - 공분산 행렬의 의미: 각 feature의 변동이 얼마나 닮았나? - 각 feature에서 평균을 뺀 값 : 변동 - 닮은 정도를 알기 위해서는 키의 변동, 몸무게의 변동에 내적을 적용. -> 두 매트릭스 곱해주면 분산, 공분산으로 이루어진 symmatric matrix가 만들어지게 됨 - n이 아니라 n-1으로 나눠주..
2022.09.20
-
[pandas] pd.isna() 사용 시 주의점: is False와 is not True의 차이점
~ is not True ~ is False 위 두 개 statement는 파이썬에서 동일한 의미를 갖는 것으로 생각하기 쉽다, 그렇지만 pandas DataFrame의 메소드가 아니라, pandas에서 제공하는 기본 함수로서의 isna()를 사용할 때에는 주의가 필요하다. https://pandas.pydata.org/docs/reference/api/pandas.isna.html pandas.isna — pandas 1.4.4 documentation For scalar input, returns a scalar boolean. For array input, returns an array of boolean indicating whether each corresponding element is mis..
2022.09.15
-
[ipynb] 쥬피터 노트북에서 %와 !의 차이
https://stackoverflow.com/questions/45784499/what-is-the-difference-between-and-in-jupyter-notebooks What is the difference between ! and % in Jupyter notebooks? Both ! and % allow you to run shell commands from a Jupyter notebook. % is provided by the IPython kernel and allows you to run "magic commands", many of which include well-known shell stackoverflow.com ! calls out to a shell (in a new ..
2022.09.15
-
[ML] 머신러닝 모델에서의 head, backbone이란?
태스크 : 주어진 텍스트를, HuggingFace에 serving되고 있는 Sentence Transformer를 활용하여 embedding 후, 분류하라 -> HuggingFace의 틀에 맞춰서 모델이 들어가 있으니, HuggingFace 사이트에서 각각 class와 attribute 등에 대한 문서를 살펴보도록 하자 -> HuggingFace의 'pipeline'기능은 모델 전체 기능을 활용하기보다, 선별적으로 사용하고 싶을 때 유용하다. 예를 들어 어떤 모델에서 ner(named entity recognition) 기능만 가져다 쓰고 싶다거나, 감성분석만 하고 싶다거나... 그래서 HuggingFace의 Feature Extraction Pipeline을 사용하려고 문서를 찾아보니... https:..
2022.08.29
-
[스크랩] 데이터 리터러시(Data Literacy)를 올리는 방법
http://blog.hwahae.co.kr/all/tech/tech-tech/9757/ 데이터 리터러시(Data Literacy)를 올리는 방법 – 화해 블로그 | 기술 블로그 데이터리터러시 와 데이터 기반 의사결정 문화 데이터 리터러시는 데이터를 활용해 문제를 해결하는 능력입니다. 데이터를 보여주는 것만으로 문제 해결력이 좋아지지는 않았습니다. 데이터를 blog.hwahae.co.kr
2022.08.06
-
[0722] 고환율에 텅텅 빈 면세점.. 직원들도 "백화점이 700원 더 싸요"
https://finance.v.daum.net/v/20220722060149842
2022.07.25
-
[0724] "오픈런으로 산 '샤넬백', 300만원이나 뚝 떨어졌다" 한숨 [안혜원의 명품의세계]
https://naver.me/IGmEjD6E
2022.07.25
-
[토스] 토스 리더가 말하는 바이럴 성장이란 무엇인가 | PO SESSION
토스 리더가 말하는 바이럴 성장이란 무엇인가 | PO SESSION - YouTube 두줄요약 : CC를 해킹하는 수단 두가지 : Viral Growth, Network Effect! 그 중에서도 Viral Growth의 경우, 마케팅과 함께 엮었을 때 Amplification Factor로 표현 가능한데, 이는 마케팅 실시로 얻을 수 있는 신규 유입 유저 숫자. QnA 1. Retention Plateau 그래프의 X축(time)은 어느 정도까지 기간을 잡아서 봐야 하나요? - 시간이 지날수록 감소하다가, 결국에는 평평해지는데, 이 평평하다고 판단되는 지점이 3개정도는 생겨야 어느정도 retention plateau가 생겼다고 판단할 수 있을 것임. (= 남은 사용자들이 3달 이상 평평하게 retain..
2022.07.19
-
[스크랩] 린스타트업, 최소기능제품(MVP), 피봇
린스타트업, 최소기능제품(MVP), 피봇 (tistory.com) 린스타트업, 최소기능제품(MVP), 피봇 스타트업 용어: 린스타트업(Lean startup), 최소기능제품(MVP, Minimum Viable Product), 피봇(Pivot) 스타트업이 실패하는 가장 큰 이유는 시장에서 팔리지 않는 제품이나 서비스를 개발했기 때문입니다. 아 better-together.tistory.com
2022.07.12
-
[토스] 토스 리더가 말하는 유저를 끌어당기는 서비스 개선 | PO SESSION
토스 리더가 말하는 유저를 끌어당기는 서비스 개선 | PO SESSION - YouTube 두줄요약 : retain과 인과관계에 있다고 볼 만한 아하 모먼트를 찾아서, 이 아하 모먼트를 더 많은 고객이, 빨리, 많이 경험할 수 있도록 하는 것이 activation funnel 개선이며, activation 개선을 통해서 서비스의 MAU까지 개선할 수 있다. RETENTION - Aha Moment : XX라는 행동을 YY라는 시간 안에 ZZ번 한다 -> 여기서 XX, YY, ZZ를 어떻게 정의해야 할까? 1. XX 찾기 : 직관, 노가다를 통해서. 스토리를 통해서 찾아야 함, Shap Value같은 도구를 이용해서 리텐션에 영향도가 높은 액션의 후보군을 뽑아볼 수도 있음. - Shap value? 각 액..
2022.07.11
-
[스크랩] OKR을 제대로 작성하고 사용하는 방법
OKR을 제대로 작성하고 사용하는 방법, (brunch.co.kr) OKR을 제대로 작성하고 사용하는 방법, OKR 파헤치기② 책에서도 안 나온 OKR 작성의 진짜 핵심원리 | OKR을 도입하고 처음 맞는 어려움은 OKR을 작성하는 데 있다. 사실 OKR은 쉽게 생각하면 Objective와 Key Results에 대한 개념만 잘 이해하고 brunch.co.kr
2022.07.07
-
[스크랩] 화해의 Data Warehouse를 소개합니다
http://blog.hwahae.co.kr/all/tech/tech-tech/9409/ 화해의 Data Warehouse를 소개합니다 – 화해 블로그 | 기술 블로그 Data Lake 와 Data Warehouse DevDay에서 화해에서 데이터를 활용하는 과정에서 겪은 문제와 그 문제를 해결하기 위해 어떤 고민을 거쳐 Data Warehouse가 구축되고 있는지 소개하는 세션을 진행했는데, 당시 blog.hwahae.co.kr
2022.07.04
-
[스크랩] 뱅크샐러드 Data Scientist & Analyst 는 무슨 일을 하나요?
https://blog.banksalad.com/pnc/team-interview-dsa/ [여의도 43층 사람들] Data Scientist & Analyst 에게 무엇이든 물어보세요! | 뱅크샐러드 뱅크샐러드 Data Scientist & Analyst 는 무슨 일을 하나요? 뱅크샐러드 Data Scientist 와 Data Analyst… blog.banksalad.com
2022.07.04
-
Sequential Model 이란?
model = Sequential() python - What is meant by sequential model in Keras - Stack Overflow What is meant by sequential model in Keras I have recently started working Tensorflow for deep learning. I found this statement model = tf.keras.models.Sequential() bit different. I couldn't understand what is actually meant and is there any stackoverflow.com There are two ways to build Keras models: sequen..
2022.07.01
-
[토스] 토스 리더가 말하는 유저를 떠나지 않게 만드는 단 하나의 개념 | PO SESSION
토스 리더가 말하는 유저를 떠나지 않게 만드는 단 하나의 개념 | PO SESSION - YouTube 두줄요약 : 리텐션이 안정화되었을 때는 Usability Test를 통해서 새로운 서비스 런칭에 대한 아이디어 얻기 & Aha-Moment 찾아서 신규 온보딩 이벤트 기획 - Retention & Activation 개선 방법 AARRR에서 가장 중요한 두 개의 지표를 개선하는 방법! ~ 먼저 지난 세션 질문 정리 ~ Q. 특정 행위를 강요했을 때 Churn rate가 안 올라간다고 해서 파워 유저로 전환? -> 안 올라감 X, 감소해야만 파워 유저로 전황! Q. 장애로 인해서 경쟁사로 갈아탈 가능성이 높지 않을까요? -> 토스에서 검증이 되었다고 생각 Q. 왜 Inflow는 숫자, Churn은 비율?..
2022.06.29
-
[토스] 토스 리더가 말하는 PO가 꼭 알아야할 개념 | PO SESSION
토스 리더가 말하는 PO가 꼭 알아야할 개념 | PO SESSION - YouTube 두 줄 요약 : 제품의 유저 숫자는 C.C, 즉 제품의 본질적인 체력에 의해 결정되며, 이는 유입 유저 수, 그리고 이탈율에 의해서만 결정된다. 마케팅은 일시적인 효과만을 보여줄 뿐, C.C를 개선하기 위해서는 제품력 개선만이 답이다. - Data Growth와 관련된 질문 1. 서비스의 핵심 유저가 모두 어떤 특정 액션을 하는 것을 발견 (ex. 프로필 기입) 만약 나머지 회원들에 대해서도 프로필을 기입하도록 필수 요건으로 설정했다면, 이 행동이 효과가 있을까요? 2. 만약 서비스가 24시간 장애가 있었고, 이 이슈가 해결된 뒤 트래픽도 감소했다면, 이것이 장기적으로 서비스 이용에 크리티컬할까요? 3. 내 서비스, 그..
2022.06.29
-
[스크랩] jaehyeong 님의 Basic NLP
[Basic NLP] Sequence-to-Sequence with Attention (velog.io) [Basic NLP] Sequence-to-Sequence with Attention Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s velog.io [Basic NLP] Transformer (Attention Is All You Need) (velog.io) [Basic NLP] Transformer (Attention Is All You Need) Intro지난 포스트인 Seq..
2022.06.27
-
[스크랩] monologg님의 KoELECTRA 개발기
2주 간의 KoELECTRA 개발기 - 1부 - Monologg Blog 2주 간의 KoELECTRA 개발기 - 1부 2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다. 이 글을 읽으신 분들은 내가 했던 삽질(?)을 최대한 덜 하길 바라는 마음이다:) 1부에는 실제 학습을 돌리기 전까지의 과정을 다룰 monologg.kr 2주 간의 KoELECTRA 개발기 - 2부 - Monologg Blog 2주 간의 KoELECTRA 개발기 - 2부 2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다. 이 글을 읽으신 분들은 내가 했던 삽질(?)을 최대한 덜 하길 바라는 마음이다:) 2부에는 Pretraining, Finetuning 등을 다룰 예정이다. Gith mo..
2022.06.27
-
[스크랩] 화해 Data team의 Beauty Domain-Specific Pre-trained Language Model 개발하기
Beauty Domain-Specific Pre-trained Language Model 개발하기 (hwahae.co.kr) Beauty Domain-Specific Pre-trained Language Model 개발하기 BERT 화해팀은 우리가 가진 데이터를 어떻게 잘 가공해서 앱을 이용하는 고객들에게 더 좋은 서비스로 돌려드릴 수 있을지를 지속적으로 고민해 왔는데요, Hwahae PLM 개발의 출발점이 된 저희의 질 blog.hwahae.co.kr
2022.06.27
-
[스크랩] 검색 최적화 (SEO : Search Engine Optimization)
검색엔진 최적화(SEO), 가장 효율적인 방법은? | 가비아 라이브러리 (gabia.com) 가비아 라이브러리 IT 콘텐츠 허브 library.gabia.com SEO(검색엔진최적화)가이드북 총정리 2021 | 헤들리 디지털 (hedleyonline.com) SEO(검색엔진최적화)가이드북 총정리 2021 | 헤들리 디지털 SEO(검색엔진최적화)는 디지털 마케팅의 종류 중 하나이며 나의 사이트를 검색엔진의 상단에 노출하여 트래픽을 높이는 마케팅 전략입니다. 백링크, 인터널 링크, 스키마, 온사이트, 오프사이트 www.hedleyonline.com 검색엔진최적화(SEO) 마케팅 총정리 가이드 - 트윈워드 (twinword.co.kr) 검색엔진최적화(SEO) 마케팅 총정리 가이드 검색엔진최적화 마케팅은 다소 ..
2022.06.20
-
[220502] “무엇이든 물어봐”...딥마인드, 소량의 데이터 만으로 학습하는 시각 언어 모델 공개
“무엇이든 물어봐”...딥마인드, 소량의 데이터 만으로 학습하는 시각 언어 모델 공개 < 테크 < 기사본문 - AI타임스 (aitimes.com) “무엇이든 물어봐”...딥마인드, 소량의 데이터 만으로 학습하는 시각 언어 모델 공개 - AI타임 구글의 딥마인드(Deepmind)가 주어진 몇 장의 사진과 텍스트로 학습하고 사진을 설명하거나 질문에 응답할 수 있는 시각 언어 모델(Visual Language Model)을 공개했다. 이 새로운 모델은 다중 모드(Multi-m www.aitimes.com 다중 모드 작업을 위해 소량의 데이터로 학습하는 퓨샷 학습 이미지나 비디오 및 텍스트로 구성된 간단한 인터페이스 구성 이미지 또는 비디오가 삽입된 텍스트를 수집해 텍스트를 생성 몇 가지 예제로 미세조정 학습 ..
2022.06.19
-
[스크랩] 퍼포먼스 마케팅
https://brunch.co.kr/@edte1020/86?fs=e&s=cl 퍼포먼스 마케팅을 위한 "최적화 알고리즘"의 이해-2 ②케이스로 알아보는 최적화 시나리오 검토 (최종업데이트 22.05.15) | 이번 아티클은 RTB와 머신러닝에 대한 기본적인 이해를 기반으로 퍼포먼스 마케팅을 진행하며 맞닥뜨리게 되는 여러 상황들 brunch.co.kr
2022.06.18
-
[220615] 트위터 장악한 '달리 미니(DALL-E mini)'가 뭐길래?
트위터 장악한 '달리 미니(DALL-E mini)'가 뭐길래? < 포커스 < 기사본문 - AI타임스 (aitimes.com) 트위터 장악한 '달리 미니(DALL-E mini)'가 뭐길래? - AI타임스 트위터(Twitter)에서 다소 기이한 사진을 발견했다면 아마도 이미지 생성기 달리 미니(DALL-E mini)를 사용하는 것일 것이다. DALL-E mini는 인공 지능을 사용해 사용자가 입력한 프롬프트를 기반으로 이 www.aitimes.com 최신 바이러스성 AI 도구, 트위터에 등장 오픈AI의 DALL-E mini 버전을 대중에 공개 텍스트 프롬프트를 초현실적 이미지로 생성 트위터(Twitter)에서 다소 기이한 사진을 발견했다면 아마도 이미지 생성기 달리 미니(DALL-E mini)를 사용하는 것..
2022.06.17
-
[스크랩] 카카오엔터프라이즈 KorQuAD 2.0 참가기
https://tech.kakaoenterprise.com/144?fbclid=IwAR34TTg18bwhsd-87sOPa7cQEZW98m6FmiLv0gv1EyB7TwvJyl_nYZSc1Js&fs=e&s=cl
2022.06.14
-
[220506] 메타, 언어 모델 OPT-175B 무료 공개
메타, 언어 모델 OPT-175B 무료 공개 < 산업 < 기사본문 - AI타임스 (aitimes.com) 메타, 언어 모델 OPT-175B 무료 공개 - AI타임스 메타(Meta)가 대규모 언어 모델 OPT(Open Pretrained Transformer)를 출시했다. OPT는 대형 언어 모델의 편향과 오용을 방지하기 위한 연구를 목적으로 비상업적 라이선스로 공개된다.1,000억개 이상의 매개 www.aitimes.com AI 편향 해결 위한 언어모델 출시 1,750억개 매개변수의 대형 모델 협력 연구를 목적으로 무료 공개 메타(Meta)가 대규모 언어 모델 OPT(Open Pretrained Transformer)를 출시했다. OPT는 대형 언어 모델의 편향과 오용을 방지하기 위한 연구를 목적으로 비..
2022.05.10
-
[NLP] 윈도우 Windows에서 Mecab 사용하기! (주피터 / VSCode / Colab 등등)
윈도우 사용자라면 눈물을 머금고 구글링할 한국어 형태소 분석기 설치방법,, 간단하고 빠른 2가지 방법 제시해드립니다. 1. Jupyter Notebook 혹은 로컬에서 사용하는 경우 [이수안컴퓨터연구소] 자연어 처리 Natural Language Processing 기초 2 한국어 NLP (Feat. Windows에서 Mecab 사용하기!) (tistory.com) [이수안컴퓨터연구소] 자연어 처리 Natural Language Processing 기초 2 한국어 NLP (Feat. Windows에서 Mecab 사 https://www.youtube.com/watch?v=2e9wnwuAVv0&list=PL7ZVZgsnLwEEoHQAElEPg7l7T6nt25I3N 다음 에러로 해당 블로그를 방문하신 분들은..
2022.02.28
-
[이수안컴퓨터연구소] 감정 분석
https://youtu.be/7GUoDHxN5NM https://colab.research.google.com/drive/1CFBtnM5W7bGOp0SVhZeHymb78dMgeSBu?usp=sharing _10 감정 분석(Sentiment Analysis).ipynb Colaboratory notebook colab.research.google.com 감정 분석(Sentiment Analysis) 감정 분석은 텍스트에 등장하는 단어들을 통해 어떤 감정이 드러나는지 분석하는 기법 감정 분석은 오피니언 마이닝으로도 불리며, 텍스트에 담긴 의견, 태도 등을 알아보는데 유용한 기법 감정 분석을 하기 위해선 미리 정의된 감정 어휘 사전이 필요 감정 어휘 사전에 포함된 어휘가 텍스트에 얼마나 분포하는지에 따라 해..
2022.01.31
-
[이수안컴퓨터연구소] CNN 스팸 메일 분류
https://youtu.be/QejZQ0Dh5x8 https://colab.research.google.com/drive/1bkzZh_JbjatK-47sF8LUaEhzWwLT-RSD?usp=sharing _9.1 CNN 스팸 메일 분류.ipynb Colaboratory notebook colab.research.google.com CNN 스팸 메일 분류 CNN의 Conv1D 사용해서 스팸메일을 분류해봅시당. 데이터 로드 및 전처리 # 데이터 로드, 전처리 import numpy as np import pandas as pd import matplotlib.pyplot as plt plt.style.use('seaborn-white') from tensorflow.keras.preprocessing.te..
2022.01.31
-
[이수안컴퓨터연구소] 케라스 Word2Vec Skipgram, CBOW 구현
케라스 Word2Vec Skipgram, CBOW 구현 - YouTube 전처리 sklearn.datasets.fetch_20newsgroups — scikit-learn 1.0.2 documentation sklearn.datasets.fetch_20newsgroups Examples using sklearn.datasets.fetch_20newsgroups: Biclustering documents with the Spectral Co-clustering algorithm Biclustering documents with the Spectral Co-clustering algorithm, Topic extracti... scikit-learn.org 참고! 뉴스에는 헤더 / 푸터 / 인용구가 들어가는..
2022.01.31
-
[카카오스타일] DB 엔지니어
[채용절차] • 서류 심사 - 1차 인터뷰 - 2차 인터뷰 - 근무조건 협의 • 점심 시간과 저녁 시간에도 인터뷰는 가능합니다 :-) • 포지션의 특성에 따라 채용절차 중 온라인과제가 진행될 수 있습니다. • 고용형태 : 정규직(신입 수습기간 6개월, 경력 수습기간 3개월)주요업무 • AWS 환경에서 DB(MySQL, PostgreSQL) 운영, 성능개선, 모니터링, 자동화 • NoSQL(Redis, MongoDB 등) 운영 • ETL(DMS 등) 운영 및 최적화 • 쿼리튜닝 및 성능 최적화 • 데이터 모델링 • DB 문제 분석 및 해결 자격요건 • MySQL DB 운영 경력 3년 이상 혹은 이에 준하는 역량을 가지고 계신 분 • AWS 환경에서의 DB 운영 경험이 있으신 분 • 시스템을 개선하기 위하여..
2022.01.22
-
[카카오스타일] 데이터 엔지니어
[채용절차] • 서류 심사 - 1차 인터뷰 - 2차 인터뷰 - 근무조건 협의 • 점심 시간과 저녁 시간에도 인터뷰는 가능합니다 :-) • 포지션의 특성에 따라 채용절차 중 온라인과제가 진행될 수 있습니다. • 고용형태 : 정규직 (경력 수습기간 3개월, 신입 수습기간 6개월) [조직 소개] 지그재그의 데이터랩은 프로덕트 관점에서 데이터 기반의 솔루션을 제공하는 팀입니다. 개인의 성장, 회사의 성장을 위해 아래와 같은 마음으로 치열하게 일하고 싶은 분을 찾고 있습니다! 1. 비즈니스 문제를 해결한다. 2. 빅데이터 스케일과 지속적인 운영가능성을 고려한다. 3. 목표 달성을 위한 빠른 방법을 제공한다. 4. 끊임없이 학습한다. 5. 새로운 가능성을 제공한다. 6. 데이터 랩을 더 알고 싶으신 분은 아래 내용..
2022.01.22
-
[번개장터] 데이터 엔지니어
고용형태: 정규직 (3개월의 수습기간이 적용됩니다.) 주요업무 • 추천, 광고, 검색 등 데이터 기반 서비스의 머신러닝 모델을 최적화하고 API를 개발합니다. • 데이터 수집, 분석, 모델 학습, ETL을 위한 빅데이터 인프라를 구축하고 운영합니다. 자격요건 • 2년 이상의 유관 경력이 있으신 분 • 확률, 통계, 머신 러닝에 대한 기본 지식을 보유하신 분 • Python, Java, Kotlin, Scala 중 하나 이상의 언어를 사용하여 개발한 경험이 있으신 분 • 데이터베이스 및 SQL에 대한 기본 지식이 있으신 분 • 컴퓨터공학, 통계학, 산업공학 등의 관련 학과 졸업, 혹은 이에 상응하는 기반 경험이 있으신 분 우대사항 • 머신러닝 모델 개발 및 서비스 운영 경험이 있으신 분 • AWS에서의 서..
2022.01.22