2024-07-17-TIL

2024-07-17-TIL

Today I Learned

Data Hydration

• https://www.snaplogic.com/glossary/data-hydration#:~:text=Data%20hydration%2C%20or%20data%20lake,lake%20or%20other%20data%20source.

SnapLogic 용어집은 데이터 하이드레이션(data hydration, data lake hydration)을 “the import of data into an object”라고 정의한다. 객체에 데이터를 채워 넣는 일이라는 뜻이다. 비어 있는 그릇에 물을 채운다는 비유로 이해하면 쉽다.

단순히 데이터를 꺼내 오는 추출과는 다르다. 데이터 레이크나 다른 저장소에 있는 데이터를 알맞은 위치와 형식으로 옮겨, 객체를 맞는 데이터로 채우는 방법까지 포함한다. 용어집은 기업이 클라우드로 옮겨 가면서 Salesforce, Workday 같은 SaaS 데이터와 IoT 센서, 소셜미디어 스트림을 사내 데이터와 합치는 과정에서 이 작업이 필요해진다고 설명한다.

같은 단어가 프론트엔드에서는 조금 다르게 쓰인다는 점도 같이 기억해 둔다. React 문서는 하이드레이션을 서버에서 만든 첫 HTML 스냅샷에 컴포넌트 로직을 “붙여서” 브라우저에서 완전히 상호작용하는 앱으로 바꾸는 과정으로 설명한다. 데이터를 채우느냐 동작을 채우느냐의 차이는 있지만, 비어 있거나 정적인 껍데기를 채운다는 비유는 같다.

---

AI 키워드: RAG

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 2020년 Patrick Lewis 등이 발표한 논문에서 이름 붙인 방식이다. 언어 모델이 파라미터 안에 저장한 지식만으로 답하지 않고, 외부 문서 색인(논문에서는 Wikipedia의 벡터 색인)에서 관련 문서를 검색해 함께 넣고 답을 생성한다. 논문은 이렇게 하면 파라미터만 쓰는 모델보다 더 구체적이고 사실에 맞는 문장을 만든다고 보고한다. 논문이 문제로 든 것 중 하나가 모델의 지식을 갱신하기 어렵다는 점이었는데, 검색할 문서만 바꾸면 모델을 다시 학습하지 않고도 답의 근거를 바꿀 수 있다는 말이구나.

참고한 자료외부 출처 3

외부 출처

• Data HydrationSnapLogic
• hydrateRootReact
• Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksarXiv