Simon Yoon's blog

안녕하세요, 여러분! 오늘은 구글 클라우드의 강력한 도구 중 하나인 Natural Language API에 대해 알아보려고 합니다. 텍스트 데이터를 다루고자 하는 모든 분야에서 유용하게 활용될 수 있는 이 API 는 어떤 기능을 제공하며, 어떻게 활용할 수 있는지 함께 살펴보겠습니다. 1. Google Natural Language API란? Google Cloud의 Natural Language API는 사전 학습된 머신러닝 모델을 활용해서 텍스트 데이터를 처리하고 이해하는 데 사용되는 클라우드 기반의 서비스입니다. 구글이 사전에 만들어 놓은 자연어 처리 기술을 통해 텍스트에서 정보를 추출하고 감성 분석, 엔터티 인식, 문서 분류 등 다양한 언어 처리 작업을 수행할 수 있습니다. 중국어, 영어, 한국어..

오늘은 인공지능 분야에서 이미지 처리의 핵심 역할을 하는 합성곱 신경망(CNN)에 대해 알아보려고 합니다. 1. 합성곱 신경망(CNN)이란 무엇인가요? 합성곱 신경망은 이미지 처리와 패턴 인식에 사용되는 강력한 딥러닝 알고리즘 중 하나입니다. 이는 주로 이미지의 특징을 추출하고 패턴을 학습하는 데 특화되어 있습니다. 2. 컨볼루션 레이어 CNN의 핵심은 컨볼루션 레이어입니다. 이 레이어는 작은 필터를 사용하여 입력 이미지를 스캔하면서 다양한 특징을 감지합니다. 예를 들어, 엣지, 색깔, 질감 등의 특징을 추출합니다. 컨볼루션에 대해서 좀 더 자세히 살펴보겠습니다. 2-1. 합성곱(컨볼루션)이란? 2-1-1. 이미지에서 특징 추출 ➢ 합성곱은 주로 이미지에서 특징을 추출하는 데 사용됩니다. 우선, 작은 필..

인공지능 팩토리 세미나 발표 by 김노은 Source: https://keras.io/examples/nlp/fnet_classification_with_keras_nlp/ https://aifactory.space/learning/detail/2187 https://towardsdatascience.com/googles-fnet-mixing-tokens-with-fourier-transforms-f98778168c45 Introduction FNet: Mixing Tokens w/ Fourier Transforms Fourier Transforms(FTs) 푸리에 변환은 한 신호(signal)을 수학적인 처리를 통해 진동수(frequency)의 성분으로 분해하는 것이다. 푸리에 변환을 통해 특정 시간 ..

해당 포스팅은 DLRM에 관해 공부하면서 남긴 참고용 기록입니다. 영어와 한글을 계속 혼용하고 있으며, 정돈되지 않은 문장 사용은 양해 부탁드립니다. 1. Summary 딥러닝의 발전으로, 신경망 기반 추천 모델은 개인화와 추천 시스템의 중요한 툴임. Facebook research team이 recommendation systems와 predictive analytics의 두 가지 관점을 합쳐서 Deep Learning Recommendation Model(DLRM)을 개발하였고, PyTorch and Caffe2로 implementation을 provide함. 관련 github 링크는 하단의 References의 링크 확인 DLRM은 sparse features*를 임베딩하고, dense featur..

2022.07.30 - [워크시트] - 클라우드 컴퓨팅 - 1 2022.07.31 - [워크시트] - 클라우드 컴퓨팅 - 2 5. 클라우드 컴퓨팅에서 MSP(Managed Service Provider)의 역할 Managed Service Provider의 사전적 의미 기업의 클라우드 기반의 서비스를 운영 및 관리하는 서비스 제공자 주로 클라우드에 최적화된 기술 지원을 통해 반복되는 서비스를 자동화하고 불가피하게 발생되는 이슈나 장애 상황에 신속하게 대응 및 처리를 담당 MSP의 역할 구설 배포, 관리 지원, 운영 관리, 교육, 전문 지원, 운영 최적화 6. 클라우드 컴퓨팅의 대표적인 서비스 소개 VPC: Virtual Private Cloud의 약자로 가상 네트워크를 제공하는 것을 의미 Subnet: ..

2022.07.30 - [워크시트] - 클라우드 컴퓨팅 - 1 3. 물리 환경과 클라우드 컴퓨팅의 차이점 물리 환경 구축에 필요한 장비 물리 서버 + 인터넷 네트워크 환경(허브 & 라우터* & 인터넷) + 랙 *라우터: 경로 탐색의 기능(네비게이션의 역할) eg. 이 PC에서 네이버까지 가는 길(외부 인터넷까지 통신이 어떻게 되는가를 확인할 수도 있다.클라우드 컴퓨팅 구축 간 필요한 장비 PC + Internet + VPN(Virtual Private Network; 가상 사설 망) 물리 환경 관리에서 필요한 것 항온항습 + 관리자(여기서의 관리자는 물리 환경 구축에 필요한 장비에 대한 전문가/관리자들이 필요) 클라우드 환경 관리에서 필요한 것 관리자 물리 환경과 클라우드 컴퓨팅의 차이 비용적인 측면: ..

1. 클라우드 컴퓨팅 사용한 만큼 비용을 지불(종량제) 물리 장비를 소유하지 않음 파일 저장 및 다운로드 민첩성 있는 구축 탄력적인 서비스 재해 복구(침수, 건물 문제로 인한 장비의 고장) 등이 용이 공유 자원 사용 인터넷을 이용한 자원 관리 2. 클라우드 컴퓨팅의 역사와 발전 과정 Salesforce: 1999년 세일즈포스에서 웹 업무 애플리케이션 서비스를 공개(SaaS) AWS: 2006년 아마존에서는 aws 라는 서비스를 통해 s3 와 ec2 서비스를 공개(IaaS) s3 는 simple storage service 라고, 데이터를 aws 인프라에 저장 → 외부 사람들에게 공개 ec2 는 elastic compute 라고 컴퓨팅 환경을 제공, 네트워크에 대한 상세한 설정 Dropbox: 2007년 ..

'개인화'와 '초개인화' '개인화'는 AI 와 Bigdata 기술을 가지고 사용자의 행동 데이터(eg. 소셜 미디어, 웹사이트 등의 행동 데이터)를 분석하고 상황과 맥락을 파악한다. 또한 기본적인 개인정보를 바탕으로 비슷한 사람들끼리 유형화하여 고객을 분류(User Segmentation)한다. 이를 바탕으로 사용자의 니즈를 파악하고 맞춤 컨텐츠, 제품, 서비스를 제공한다. '초개인화'도 '개인화'와 마찬가지로 고객에 대한 기본적인 개인정보, 행동 데이터(eg. 인터넷 검색 패턴, 구매 상품에 대한 반응, 장바구니 내역 등의 구체적인 행동 패턴)를 실시간으로 수집하고, 이를 바탕으로 AI를 이용해 분석하고 예측하여 사용자에게 최적화된 서비스를 제공한다. 다만 '초개인화'는 사용자의 미래 행동과 상황까지 ..

본 포스팅은 모바일보다 데스크탑에 최적화되어 있습니다. 이번 포스팅에서는 범주형 변수에 대해 적용할 수 있는 나이브 베이즈 분류기(Naive Bayes Classifier)에 대해서 다루도록 하겠습니다. 곧바로 나이브 베이즈 분류기에 대해 이야기하기에 앞서서 아래와 같이 순차적으로 이론들을 정리해보면서 학습하겠습니다. Agenda: 1. 조건부 확률(Conditional Probability) 2. 베이즈 정리(Bayes Theorem)와 머신러닝 3. 나이브 베이즈 분류기(Naive Bayes Classifier) 1. 조건부 확률(Conditional Probability) 조건부 확률이란, 어떤 특정한 사건이 발생한 후 그 다음 사건이 일어날 확률을 의미합니다. 예를들어 ▵▵대학교의 ○○학과에 뽑힌..

Relation의 키(Key) 각 tuple을 유일하게 식별할 수 있는 하나 이상의 속성 집합 모든 relation은 key를 가짐 Relation instance는 계속 변화하므로 미래의 입력 값까지를 포함한 속성의 본질적인 의미를 고려하여 키 지정 여부를 결정 후보키(Candidate Key: CK) tuple을 유일하게 식별할 수 있는 속성들의 최소 집합 uniqueness와 minimality 조건을 모두 만족해야 함 유일성 조건(uniqueness): relation에서 key로 지정한 속성 값의 조합은 tuple마다 모두 달라야 한다는 조건 최소성 조건(minimality): relation에서 key로 지정한 속성의 개수를 최소화해야 한다는 의미 결과적으로 모든 relation은 최소 하나 ..

MapReduce 개념과 특징 HDFS에 저장된 파일을 분산 배치분석 할 수 있게 도와주는 프레임워크 분할 정복 방식으로 대용량 데이터를 병렬 처리 비공유 아키텍쳐 Map 입력 데이터를 가공 Reduce 맵의 결과를 집계(shuffle) 단계를 거쳐 리듀스의 입력으로 전송 하둡 맵리듀스 아키텍처 네임노드(NameNode) 하둡을 이루는 가장 기본적이고 필수적인 데몬으로, 네임 스페이스를 관리하는 마스터 역할을 수행 데이터노드(DataNode) 분산 파일 시스템의 데몬으로 파일의 실질적인 데이터 입출력에 대한 처리를 수행 잡트래커(JobTracker) MapReduce 시스템에서 job이라는 작업을 관리하는 마스터에 해당 (클러스터에 1개의 잡트래커가 존재) 태스크트래커(TaskTracker) 작업을 수행..

데이터베이스 개념 정보시스템 → 가공 이전의 데이터나 가공 이후 생성된 정보 저장소 필요 → 데이터베이스 데이터와 정보는 연쇄적인 처리 과정 안에 서로의 입,출력으로 반복 사용될 수 있다. 정보시스템이란? - 한 조직의 활동과 운영에 필요한 데이터를 수집, 저장해 두었다가 다양한 방식으로 처리 및 가공함으로써 의사 결정에 필요한 정보를 생성하는 소프트웨어 체계 - 책이나 언론 매체, 사람 등의 전통적 방식으로는 불가능했던 대량의 정보 소비는 다양한 정보시스템을 통해서만 가능함 전통적 파일 정보 시스템의 문제점 1. 데이터 종속성(data dependency)의 증가: 파일 안의 저장 방식이나 접근 방법을 변경할 경우, 연관된 모든 응용 프로그램도 함께 수정되어야 하는 데이터 종속성 문제 발생 2. 데이터..

ADP 필기 이론에서 시각화 디자인 파트에 대한 내용을 직접 정리하였습니다. 필요하신 경우 해당 파일을 다운 받으셔서 사용하시면 됩니다.

"MECE"는 비즈니스 문제 해결 과정에서 논리적이고 전략적인 사고를 위해 반드시 알아야 할 개념이다. M.E.C.E (Mutually Exclusive Collectively Exhaustive)에서 Mutually Exclusive는 상호 중복이 없어야 한다는 것이고, Collectively Exhaustive는 누락된 것이 없는 것을 의미한다. 간단한 예를 보자. A서비스 가입자를 나이 범주별로 구분하여 20대 이하, 30대, 40대, 50대, 60대 이상으로 나눌 수 있을 것이다. 이렇게 하면 각 가입자들 분석에 중복될 일이 없고(Mutually Exclusive), 누락된 가입자도 없을 것(Collectively Exhaustive)이다. 이러한 MECE 사고 방식이 중요한 이유는 1) 필요 내..