AI summit Seoul 2024 리뷰 (2/2) #6

DEV-daehyun99's Blog			Period	2024/10/01 ~ 2025/02/28
			Link	https://dev-daehyun99.tistory.com/
2024년
번호	업로드 일정	내용
1	10월 01일	KT AIVLE School 6기 기자단 활동 시작 인사
2	10월 07일	IT 분야 정보 공유
	10월 23일	KES 2024 관람
3	10월 28일	KES 2024 리뷰 (1/2)
4	11월 11일	KES 2024 리뷰 (2/2)
	12월 10일	AI summit Seoul 2024 관람
5	12월 16일	AI summit Seoul 2024 리뷰 (1/2)
6	12월 30일	AI summit Seoul 2024 리뷰 (2/2)
2025년
번호	업로드 일정	내용
7	01월 13일	에이블스쿨 2024 되돌아보기 & 7기 모집
8	01월 27일	(온라인) 2025 CES 분석 (1/2)
9	02월 10일	(온라인) 2025 CES 분석 (2/2)
10	02월 28일	KT AIVLE School 6기 기자단 활동 마무리 인사

---

---

 - AI 제품의 프로덕트 및 가치 

 AI 기반 제품을 성공적으로 설계하고 구현하기 위해서는 예측 가능성을 보장하는 것이 중요하다. 이는 리뷰(1/2) 글의 Ben Shneiderman 교수님이 언급하신 인간 중심 설계와도 맞닿아 있으며, 신중하고 체계적인 접근이 요구된다. 단순히 혁신 기술이기 때문에, 제품에 AI 기술을 도입해서는 안 되며 해당 과정을 가장 잘 수행할 수 있는 기술로써 AI 기술을 도입해야 한다고 한다.  기존의 여러 SW 기술과 달리 AI 기술은 확률적인 특성이 강하다. 이러한 특성을 고려하여, AI 기술의 도입은 작게 시작하여 점차적으로 확장을 이루어야 한다. 이러한 접근 방식은 제품의 예측 가능성을 보장하고 복잡성을 효과적으로 관리하기 위해 필수적이다. AI 제품은 그 복잡성과 예측 가능성을 고려하여 "Clear", "Complicated", "Chaotic", "Complex"의 네 가지 범주로 나눌 수 있다.

• Clear(Known knowns) 영역은 HTML, CSS처럼 모든 것이 예측 가능한 영역으로, 모든 사용자에게 일관된 경험을 제공할 수 있다.
• Complicated(Known unknowns) 영역은 예측 가능하지만, 알고리즘의 복잡성 등에 의해 예외 처리가 발생할 수 있는 영역이다.
• Chaotic(Unknown knowns) 영역은 LLM과 같이 잠재적으로 예측 가능하지만, 같은 입력에 항상 같은 결과가 나오지 않는 영역이다.
• Complex(Unknown unknowns) 영역은 결과를 절대 예측할 수 없는 영역으로, 이 상황에는 아무것도 할 수가 없다.

 이러한 복잡성과 예측 가능성은 AI 기술의 도입 방법(prompt engineering, fine tuning, model build & training 등)과 사용할 모델의 크기 등에 따라 결정된다. 또한, AI 기술의 복잡성은 비용과도 직결되기 때문에, AI 제품은 복잡성에 따른 비용 관리와 전략적 확장이 중요하다.
 제품에 AI 기술을 도입하기 하는데 유용한 세 가지의 원칙으로 "사용자를 위한 설계", "작업 중심의 설계", "전략적 접근"을 소개하였다. 제품은 사용자의 관점에서 가치를 창출해야 하며, 사용자가 해결하고자 하는 문제와 사용자에 대한 이해 그리고 무엇을 필요로 하는지를 명확하게 이해해야 한다. 또한, 확장성을 위해 여러 작업을 동시에 처리하는 모델보다, 특정 하나의 작업에 특화된 모델을 설계할 수 있어야 한다고 하였다. 따라서 AI 기술의 설계와 도입은 철저한 계획과 사용자의 문제 해결을 중심으로 이루어져야 하고, 이러한 체계적인 접근을 통해 AI 제품의 성공과 지속 가능성을 보장할 수 있다.

 

- AI Agent (Wanted AX, LG전자, SambaNova Cloud)

[Wanted AX]

 원티드는 기업과 인재를 연결하는 채용 플랫폼으로, AI Agent를 플랫폼과 내부 업무 과정에서 활용하고 있다. 플랫폼에서의 AI Agent 활용은 AI Recruiter로써 각 기업들의 채용 기준, 시급성, 인재상 등을 고려하여 인재를 추천하는 기능과 AI Mentor로써 각 인재들의 커리어 상담, 이력서 코칭 등의 서비스를 제공하여 합격률 상승과 성장을 돕는다.

 원티드 내부에서는 각 부서의 니즈에 맞춰 다양한 생성형 AI 서비스를 생성하였고, AI Agent가 AI 서비스들을 활용할 수 있도록 도입하였다. 자세한 정보는 아래 참고 자료의 링크에서 확인할 수 있다.

 

[LG전자]

 LG전자는 감정에 집중하여 기존 인공지능(Artificial Intelligence, AI)에서 더 나아가 공감지능(Affectionate Intelligence)으로 AI 기술을 고도화하고 있다. 또한, 고도화된 AI 기술을 홈이라는 주제에 포커싱하였고, 홈이라는 공간에서 발생하는 문제들을 "함께" 그리고 "자율적으로" 해결해 줄 수 있는 AI Agent를 만들고자 한다. 이를 구현하기 위하여 LG가 지향하는 공감지능의 세 가지 요소는 실시간 생활 지능(Real-Time Life Intelligence), 조율 및 지휘 지능(Orchestrated Intelligence), 책임지능(Responsible Intelligence)이다.

•  실시간 생활 지능은 LG전자 제품이 여러 센서들을 활용하여 실시간으로 수집한 데이터를 기반으로 사용자와 공감하고 생활에 도움을 주는 실질적인 솔루션을 제공한다.
•  조율 및 지휘 지능은 대화와 고객의 감정과 맥락을 가지고 어떤 툴들을 사용할지 실시간으로 기기를 조율 및 조치를 취한다. 이는 AI와 사용자 간의 자연스러운 감정 교류를 가능하도록 한다.
•  책임 지능은 LG Shield를 통해 개발하고 있는 자체 데이터 보안 솔루션으로 윤리, 공정성, 투명성 등을 강조한다.

 LG는 AI Agent 기술로 "고객에게 동일한 경험의 제공"을 추구하고자 한다. 지난 10월에 KES 2024에서 LG전자의 부스를 관람하면서 느꼈던 점이지만, LG는 항상 고객에게 동일한 경험의 제공하는 것을 매우 중요하게 생각하는 것 같다.

 

[SambaNova Cloud]

 SambaNova Cloud는 AI Agent를 위한 하드웨어를 설계 및 개발자 커뮤니티를 운영하는 풀스택 AI 기업이다. AI Agent 시스템은 기존 AI 시스템보다 더 많은 AI 모델을 체인으로 연결하여 포괄적이고 복잡한 작업을 자율적으로 수행해야 한다. 따라서 AI Agent를 위한 하드웨어는 기존 GPU 시스템보다 더 많은 메모리, 더 빠른 처리 속도, 더 적은 전력 소모량이 요구된다. 이에 SambaNova Cloud는 AI 칩을 처음부터 설계하였고, SN40L 칩을 제작하였다. SN40L 칩의 가장 큰 특징은 메모리가 매우 크다는 것이다. 따라서 큰 규모의 언어 모델을 학습하기 위해 많은 수의 GPU를 구매해야 하는 문제를 해결할 수 있다고 한다.

 아래 두 개의 동영상은 ChatGPT의 GPT-4o mini와 SambaNova Cloud의  Llama-3.1-8B 모델의 추론 시간을 비교한 영상이다. GPT-4o mini와 Llama-3.1-8B은 파라미터의 수가 비슷한 것으로 알려져 있어서, 하드웨어 성능에 따른 추론 시간을 비교할 수 있을 것 같다. ChatGPT는 NVIDIA GPU를 사용하고 SambaNova Cloud는 SN40L을 사용하여 추론을 한다. 질문은 "Write an introduction to SambaNova Cloud (1000 words)."으로 동일한 질문을 하였다.

 

- ChatGPT(GPT-4o mini)

 

- SambaNova Cloud(Llama-3.1-8B)

 같은 질문에 Llama-3.1-8B 모델은 4,529자의 답변을 생성하였고, GPT-4o mini 모델은 8,549자의 답변을 생성하였다. 생성된 답변의 길이와 여러 사용자 요청들을 묶어서 한 번에 처리하는 배치 크기가 다를 수 있음에도 추론 속도의 차이가 많이 나는 것을 확인할 수 있다.

 

- 바이오 메디컬 LLM

 플로리다 대학의 Mattia Prosperi 교수님과 Yi Guo 교수님은 세계 최대 규모의 바이오 메디컬 LLM 구축 사례를 소개해 주셨다. 바이오 메디컬 LLM은 일반적인 LLM과 큰 차이가 있다고 한다. 그 이유로 의학 전문 용어, 전자 의료 기록(Electronic Health Record, EHR) 그리고 유전 정보 등과 같은 도메인 특화 데이터의 사용을 언급하였다. 또한, 같은 목적의 화합 약품이라도 브랜드마다 복용량, 부작용 등이 다르기 때문에, 더 많은 것들을 고려할 수 있어야 한다. 따라서, 이에 맞는 의학 전문 데이터베이스 구축을 하였다.

출처 : https://onefloridaconsortium.org/about/

 

 OneFlorida plus는 다양한 지역의 여러 의료 기관 및 주정부 기관과 협력하여 의료 관련 연구 네트워크를 형성하였고, 약 2,300만 명의 의료 데이터를 제공한다. 또한, 연구를 지원하기 위한 HiPerGator 고성능 컴퓨터 시스템도 구축하였다. 이러한 데이터와 컴퓨팅 인프라를 활용하여 GatorTronGPT 모델을 생성 및 학습하였고, 행정, 챗봇, 임상 연구, 의료 의사결정 지원 등의 업무에 활용한 사례를 소개해 주었다.

 

 하지만, 아직 해결해야 할 과제들로 기존에 구축된 관찰 데이터들의 편향성 문제를 언급하였다. 관찰 데이터는 행정처리 과정에서 발생하는 데이터로 보험회사와 병원 간의 청구 과정, 의료진과 환자 사이의 진료 과정에서 발생하는 데이터이다. 이러한 데이터는 연구 목적으로 생성된 데이터가 아니기 때문에, 편향성을 가지고 있다. 하나의 예시로 환자의 암 예방을 위한 진료 과정에서 의사는 환자의 흡연 여부와 니코틴에 의해 색이 변한 치아를 관찰할 수 있을 것이다. 흡연 여부와 니코틴에 의해 색이 변한 치아는 암의 발생을 예측할 수 있다. 하지만, 치아를 깨끗이 닦는다고 해서 암이 예방되지는 않는다. 즉, 관찰 데이터에는 인과 관계 혹은 상관관계를 가지고 있고, 그중에서 상관관계에 해당하는 데이터들은 LLM의 편향성을 유발할 수 있다는 것이다. 따라서 관찰 데이터에 대하여 편향성을 극복하기 위한 방법으로, 기존의 관찰 데이터와 엄격하게 수행한 임상 시험 데이터를 결합하는 과정이 필요하다고 한다.

---

- 후기

 어느덧 KES 관람, AIS 참가 리뷰 글까지 작성을 하였다. 이제 에이블 스쿨 수료까지 약 두 달 동안의 빅프로젝트밖에 남지 않았다. 정신없었다면 정신없었고, 무엇을 했는지도 모르게 시간이 흐른 것 같다. 남은 24년 잘 마무리하고, 25년에는 다들 본인이 소망하는 바 이루었으면 좋겠다.

---

- 참고 자료

[Wanted AX]

LinkedIn 주형민 페이지: Wanted AX - Journey to AI Agent | 댓글 10

 

[AI Agent]

A System of Agents brings Service-as-Software to life - Foundation Capital

이제 AI가 내 맘도 알아준다고?  - LG전자 뉴스룸

LG전자, 사이버보안 검증 역량 입증IoT 및 AI 제품 신뢰도 높인다 - LG전자 뉴스룸

LG전자, AI홈 시대 선도 위해 스마트홈 플랫폼 기업 M&A - LG전자 뉴스룸

SambaNova Cloud Quick Start Guide