본문 바로가기

학습

 (6)
오토인코더(Auto-encoder)에 대한 간단 정리 Auto-encoder(이하 오토인코더)는 데이터를 압축하고 재구성하도록 하여, 노이즈를 제거하고 보다 유용한 데이터 표현을 얻기 위하여 만들어진 모델이다. label이 없는 경우의 feature를 탐색하자는 아이디어에서 출발하여, X(image)를 토대로 저차원 Z를 도출하고, Z로부터 이미지 X를 다시 복원하는 역할을 한다. 오토인코더는 인코더와 디코더로 이루어지는데, 각각 인코더는 입력을 내부 표현으로 변환하는 역할을 하고 디코더는 내부 표현을 출력으로 변환하는 역할을 한다. 인코더: 입력 데이터를 더 작은 차원의 latent space로 압축하는 역할을 수행한다. 이를 통해 입력 데이터의 주요 특징을 학습하고, 주요한 정보만 추출하여 저차원 벡터로 표현한다. (중요한 것만 학습 -> 노이즈 제거 ..
과적합(Overfitting)이란 무엇인가? 과적합(overfitting) 현상은 모델이 학습 데이터에 너무 잘 맞춰져서 새로운 데이터(test data)에서 일반화되지 않는 현상을 일컫는다. 위의 그림에서 초록색 선은 과적합된 모델을, 검은색 선은 일반 모델을 나타낸다.Training loss는 Training Time에 따라 감소하지만(모델 성능 향상되지만),Training time이 일정 값을 초과하면(=overfitting 되면) Test loss는 증가하는 양상을 보인다. 예시를 들어서, 밤에 거리를 걷는 고양이 그림이 있다고 하자. 그렇다면 이 그림의 특징은 당연하게도 고양이가 있다는 것이다. 모델은 고양이를 인식해 그림의 특징으로 설정할 것이다. 이와 비슷한 그림들을 모델에 학습시키면(training data로 사용하여서) 모델은 고양..
빅데이터(Big Data)에 대해서 Ⅰ. 빅데이터 개념빅데이터(big data)란, 방대한 양의 데이터를 뜻한다. 기존 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이라고도 설명할 수 있다. 더 자세하게 설명했을 때, 빅데이터는 넓은 의미의 빅데이터와 좁은 의미의 빅데이터로 나눌 수 있다.좁은 의미의 빅데이터는 정형 데이터와 비정형 데이터를 포함한다.넓은 의미지의 빅데이터는 좁은 의미의 빅데이터 + 데이터 관리 조직 + 데이터 관리 기술을 의미한다.빅데이터의 특징3V : Volume(규모), Variety(다양성), Velocity(속도)빅데이터의 특징은 이렇게 3V로 나뉘지만, 기술의 발전에 따라 5V, 6V, 7V도 제시된 바가 있다. 5V : 규모(Volume), 다..
인증과 인가, 어떻게 다를까? 인증(Authentication)이란?인증이란, 권한이 필요한 작업을 할 때, 본인이 맞는지를 확인하는 절차이다. 사용자의 신원을 검증한다고 생각하면 이해가 쉬울 것이다. 인증을 증명 방식에 따라 세 가지로 나눌 수 있다.1. 지식 기반 인증 방법사용자가 알고 있는 정보를 기반으로 하는 인증 방법이다. 이는 사용자가 특정 정보를 알고 있는지 확인한다.패스워드 (Password): 가장 일반적인 형태의 지식 기반 인증. 사용자가 특정 비밀번호를 입력하여 자신을 인증한다. PIN (Personal Identification Number): 짧은 숫자 코드를 통한 인증 방법.보안 질문 (Security Questions): 사용자가 사전에 설정한 질문에 대한 답변을 입력. 2. 소유 기반 인증 방법사용자가 소..
인공지능과 머신러닝 인공지능(Artificial Intelligence, AI)에 대한 정의는 굉장히 다양하다."기계나 컴퓨터 시스템이 인간의 지능을 모방하거나 수행할 수 있는 능력","인간의 지능이 가지는 학습, 추리, 적응, 논증 따위의 기능을 갖춘 컴퓨터 시스템","컴퓨터에서 음성 및 작성된 언어를 확인, 이해, 번역하고 데이터를 분석하며 추천하는 기능을 포함하여 다양한 고급 기능을 수행할 수 있게 해주는 일련의 기술"이 설명들이 공통적으로 말하고자 하는 것은 다음과 같다."인공지능은 인간의 지능을 모방하여, 인간이 수행하는 고급 기능을 컴퓨터가 수행할 수 있도록 하는 기술이다."이처럼 인공지능은, 인간의 지능을 모방해 복잡한 문제를 해결하면서 다양한 산업과 생활 속에서 효율성을 높이는 데 큰 역할을 하고 있다. 아이..
YAML이란 무엇인가? YAML이란 무엇인가?데이터 직렬화 형식데이터 직렬화 필요성데이터 직렬화 예시깃허브의 여러 모델 중, 많은 모델에서 .yaml 또는 .yml 파일을 쉽게 찾아볼 수 있다.그렇다면 .yaml 파일은 무엇이고, 왜 존재하는 것일까?YAML이란 무엇인가?YAML은, "Yet Another Markup Language(또 다른 마크업 언어)"의 의미로 시작하여, 현재는 "YAML Ain't Markup Language(YAML은 마크업 언어가 아니다)"로 변경되어 사용되고 있다.YAML의 핵심은 문서 마크업이 아닌 데이터 중심에 있다는 것을 보여주기 위해 이름을 바꾼 것이다.*Markup Language: 태그() 등을 이용하여 문서나 데이터의 구조를 명시하는 언어(HTML 등)*XML(eXtensible Ma..

티스토리툴바