본문 바로가기

전체 글8

윈도우에서 gemma3 로컬 활용하기(ollama활용, sLLM) 최근 microsoft에서 발표한 gemma3가 상당한 성능을 자랑 최근 microsoft에서 발표한 gemma3가 상당한 성능을 자랑하기에 간략한 사용법을 설명드리려 합니다.  먼저 장점을 간략하게 확인하자면, 압도적인 가성비와 유용성입니다. 1. 뛰어난 성능 가성비  - 27B 모델으로 o3-mini 보다 높은 성능. llama 405b보다 높은 성능 2. 다국어 지원  - 140개국어 지원 3. 오픈소스  - 무료입니다.4. 멀티모달  - 이미지도 분석 가능합니다. 5. 128K Context window  - GPT4, Claude3 모델보다 더 긴 내용을 한번에 입력/출력 가능합니다. 6. 공식 양자화 모델 제공  - 별도 양자화 하거나, 양자화된 모델을 찾을 필요 없이 활용 가능합니다. 준비사.. 2025. 3. 19.
공간감 : 행궁 - 무드 페어링 🏠 공간 소개종류 : 카페'디저트 파인다이닝'이라고 하는데, 편하게 말해서 디저트가 코스요리처럼 나오는 곳전체적으로 따뜻하고 소소하게 사랑스러운 분위기.- 따뜻하고 오밀조밀한 분위기. - 심플하고 오밀조밀한 원목 가구와 따뜻한 조명- 채광이 좋아 창가 자리에 앉는 것 만으로도 따스함을 느낄 수 있음예약을 받고, 속도를 고객에게 맞춰주며, 상당히 친절하지만 과하진 않음생각보다는 가격이 저렴함 🌿 나의 공간감따뜻함, 아기자기함, 귀여움이 주된 감정처음에는 이런 곳이 익숙하지 않아서 어색했다. 나오는 디저트들을 접하면서 금방 편하고 자연스러워졌다.생일을 대접받는 입장이라 부담스럽지 않으면서도, 색다른 경험을 해서 좋았던 것 같다.특히 재료들이 향이 풍부해서 오렌지 착즙 소스의 상큼하면서도 달콤함이 이 장소.. 2025. 3. 19.
LLM GPU 요구사항 계산기: LLM활용을 위한 요구사항 확인 도구 안녕하세요, 오늘은 새롭게 개발한 LLM GPU 요구사항 계산기를 소개해드리려고 합니다.링크 LLM GPU 요구사항 계산기 | MIRAI 모델의 파라미터 수에 따른 GPU 메모리 요구사항과 필요 GPU 개수를 계산해보세요.gram.mir.so 개발 배경최근 LLaMA, GPT 등 대규모 언어 모델(LLM)이 대중화되면서, 많은 연구자와 기업들이 이러한 모델을 직접 구축하고 운영하려는 시도를 하고 있습니다. 하지만 이 과정에서 가장 큰 고민 중 하나는 "어떤 GPU를 몇 개나 준비해야 하는가?"입니다. 이러한 고민을 해결하기 위해, 모델 크기(파라미터 수)를 입력하면 필요한 GPU 메모리와 개수를 자동으로 계산해주는 도구를 개발하게 되었습니다.주요 기능3B부터 405B까지 다양한 모델 크기 지원RTX 시리.. 2025. 1. 20.
인기 LLM 기반 유료 AI 툴 리뷰: ChatGPT, Claude, Perplexity, Cursor 1. ChatGPT - 강력한 대화형 AI의 표준장점:친숙한 UI와 범용성: 초보자부터 전문가까지 쉽게 접근 가능한 UI를 제공하며, 다양한 용도로 사용하기에 편리합니다.안정적인 답변 제공: 질문에 대한 일관되고 신뢰할 만한 답변을 제시해 신뢰도가 높습니다.이미지 생성 기능 지원: DALL-E를 이용해 이미지 생성이 가능하여 텍스트뿐만 아니라 시각적인 콘텐츠도 제작할 수 있습니다.데이터 분석: 간단한 데이터 집계, 연산, 도식화 등 데이터 분석에 매우 유용합니다.GPTs 도구 활용 가능: 다양한 사용자 맞춤형 도구들이 제공되어, 작업의 효율성을 크게 높여줍니다.2. Claude - 고성능 대화형 AI장점:뛰어난 성능: 다양한 지표에서 높은 성능을 보이지만, ChatGPT 대비 확실한 우위는 느끼기 어려웠.. 2024. 9. 26.
LLM 모델 크기에 따른 GPU 세팅 가이드 ( RTX3090, H100 기준 ) 소개 작은 대형 언어 모델(sLLM)을 사용하려 할 때는 모델이 내 장비에서 돌아갈지, 혹은 어느정도 모델을 사용하려면 어느정도 장비가 필요할지 아는 것 부터 시작합니다. 특히 GPU 메모리(GRAM)의 용량이 중요합니다. Llama 3.1같은 sLLM 같은 모델을 다룰 때, 어느정도 사양의 GPU가 얼마나 필요할까요? 다양한 LLM 크기에 따른 GPU 메모리 요구 사항을 살펴보고, 다양한 양자화 기법에 따른 사양 변화까지 확인해 보겠습니다. 주요 개념LLM을 다룰 때 고려해야 할 두 가지 주요 요소는 다음과 같습니다:     1. 모델 크기 (파라미터 수)        - 모델의 전체 용량과 성능을 결정하는 요소입니다.        - 주로 B로 정리되며, 10억개의 파라미터를 의미합니다.       .. 2024. 9. 19.
[DallE3]Oriental Dragon Prompt : A cute dragon with dark blue, white, and black markings and white fins, depicted in a 3D art style with Art Nouveau elements. The dragon has delicate   A cute 3D dragon with white and black markings, white fins, and a supernova in the background. The dragon has a delicate, flowing design, inspired by Art Nouveau style with intricate, swirling patterns on its wings and body, emphasizing .. 2024. 9. 12.
[Stable Diffusion]유화 1. positive prompt : girl, airy, elegant, pin-up, sci-fi, steam punk, very deitaled, realistic, figurative painter, fineart, Oil painting on canvas, beautiful painting by Daniel F Gerhartz --ar 9:16 --beta --upbeta 2. negative prompt : cgi, Two bodies, Two heads, doll, extra nipples, bad anatomy, blurry, fuzzy, extra arms, extra fingers, poorly drawn hands, disfigured, tiling, deformed, mutated,.. 2024. 9. 12.
[DallE3]흑단발소녀 2024. 9. 12.

티스토리툴바