차가운 달빛의 lovian

https://github.com/eususu/lite-llm-client GitHub - eususu/lite-llm-client: LLM client library. it communicate with LLM by only REST APILLM client library. it communicate with LLM by only REST API - eususu/lite-llm-clientgithub.com  필요성2024년 7월 21일 시작한 프로젝트나름 AI관련 업무를 시작하게 되면서, 계속 번거로왔다. 1. 파이썬 패키지 의존성의 무게와 충돌 (심한욕..)2. 점점 늘어가는 테스트할 AI 클라이언트 (openai, gemini, anthropic, ...)3. 각 클라이언트별 의존성 패키지 이슈9..

LLM가지고 뚝딱거리다보면, 종종 만날 수 있는 오류 메시지.LLM에 대한 이해도가 낮은터라, 왜 오류인지 이해하기 어렵다. 내 경우 아래의 코드 때문에 발생했다. (아마 나랑 다들 비슷할듯)pipeline("question-answering", "MY MODEL")digging쪼끔 복잡한 내용을 보면,pipeline 함수는 첫번째 파라미터에 연결된 클래스를 호출하여 사용한다.pipeline 설명을 보면 나오지만, 아래처럼 연결시킨다고 한다(길어서 일부 생략) - `"question-answering"`: will return a [`QuestionAnsweringPipeline`]. - `"summarization"`: will return a [`SummarizationPipeline`]. - `"t..

일단, 나는 파이썬 초보다. 배경요즘 재미가 들려서 이것 저것 만들어보고 있는데, 패키지를 만들고, 의존성을 거는 작업을 하게 되었다.llm_client 라는 패키지를 만들었는데, 로딩해서 사용 가능한 멤버를 보니 아래와 같다.>>> import llm_client>>> llm_client.llm_client.ABC() llm_client.LLMMessage( llm_client.anthropic_clientllm_client.AnthropicClient( llm_client.LLMMessageRole( llm_client.configllm_client.AnthropicConfig( llm_client.List( llm_client.datacl..

아는 사람은 알겠지만, 인터넷 쇼핑몰의 행태는 선을 넘어 터질락 말락 한다.할인 쿠폰을 빙자한 올려치기 판매에 지쳤다.“고객님 전용 20%할인 쿠폰을 드려요~" -> 맞는 말(하지만 20%할인 쿠폰을 적용하면 원래 가격이 되도록 금액을 이미 올려 놓음) -> 기분은 좋나..??꼭 여기만 말할건 아니고, 주요 쇼핑몰들이 얼추 비슷함. 여튼 용도가 있어서 가입했다가 이번에 해지하는데 과정이 얼마나 간편한지? 알리는 겸 글을 작성한다.(현재 2024년 7월 12일) 탈퇴는 어디서?그 어떤 사이트들은 가입은 쉬은데 탈퇴는 귀찮게 해놨다. (라떼는 말이야 두루넷(인터넷) 탈퇴하려고 했더니, 서류 작성하고 스캔하고, 뭐 신분 증명서 내야낸다고 함. 그래서 가입은 그런거 없이 해놓더니 탈퇴는 왜 그런게 필요하냐고 따..

배경요즘 flash attention이 핫하다길레 써보기나 하자 하고 흔한 명령어를 입력했다. 문제pip install flash_attnCollecting flash_attn Downloading flash_attn-2.5.9.post1.tar.gz (2.6 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.6/2.6 MB 8.8 MB/s eta 0:00:00 Preparing metadata (setup.py) ... error error: subprocess-exited-with-error × python setup.py egg_info did not run successfully. │ exit code: 1 ╰─> [12 lines of outp..

11번가 우주패스를 이용해서 잘 쓰고 있었는데, 비용 증가로 구독을 취소했다.무과금으로 사용중인데, 문득 우회가 막혔다는 내용에 궁금해졌다.진짜로 진짜로 막혔을까? 내 메인 구글 계정에는 엮인게 많아서 함부로 못하겠고, 부 계정을 하나 파서 시도 해보자. 1. VPN 적용 후 신규 가입화면 캡쳐를 해두지는 않았음.해당 지역의 전화번호가 필요함 (문자 인증)어쩔 수 없이 한국내의 번호를 시도 했는데, 문자가 안와서 포기 2. 기존 계정에 VPN 적용 우크라이나로 시도했는데, 이제 소유한 카드가 속한 국가와, 실제 사용 지역의 국가가 일치해야 결제된다고 한다.. 하하.. 대안아직은 없다.내 경우, 구독 비용을 지원해주는 신용카드를 최대한 활용해보려고 알아보는 중이다. :)

배경 Windows 11 환경 WSL설치해서 잘 쓰고 있음 유독 도스 창에서 bash 명령을 실행하면 오류남 (아래와 같이) PS D:\Application\bin> bash WSL (8) ERROR: CreateProcessParseCommon:754: getpwuid(0) failed 2 Processing fstab with mount -a failed. WSL (8) ERROR: CreateProcessEntryCommon:331: getpwuid(0) failed 2 WSL (8) ERROR: CreateProcessEntryCommon:502: execvpe /bin/bash failed 2 WSL (8) ERROR: CreateProcessEntryCommon:505: Create proce..

배경 나는 WSL을 이용해서 oobabooga를 사용하고 있다. WSL에서 직접 실행하기 귀찮아서 start_wsl.bat 파일을 이용한다. 문제 잘 이용하다가, hugging face 토큰이 필요한 모델이 있어서 HF_TOKEN설정 후 download_model.py를 이용하여 모델을 받았는데, webui 내에서 새로고침을 해도 인식 못하는 것을 확인했다. 아는 위치로 탐색 이상해 설치 경로를 찾아갔다. 나는 /home/lovian/ai/text-generation-webui models 경로에 방금 받은 모델 파일만 있는 것을 확인했다.. 그동안 받은건 어디있지?? 용량으로 탐색 어디 숨어 있으려나. 이럴 때는 용량으로 찾는게 편하다. (base) lovian@suhome:~/ai/text-gener..

module 'bitsandbytes.nn' has no attribute 'Linear8bitLt' 흔하게 만난다는 오류중에 하나.. 분석 bitsandbytes.nn 이라는 모듈에 Linear8bitLt 라는 기호가 없다는 의미 https://github.com/TimDettmers/bitsandbytes/blob/main/bitsandbytes/nn/modules.py 에 가보면 Linear8BitLt라는 기호가 있음을 확인가능하다 Tag를 열어서 0.32 버전까지 확인했는데 모두 있다. (더 이하의 버전은 여기서 관리되지 않는 듯) 위의 상황을 해석하면 Linear8BitLt라는 기호가 추가되기 전의 버전이 설치된 것 이라고 판단 할 수 있다. 즉 최소 0.32 미만의 버전이 설치되어 있다. 확인..

이전에 엘리트 패드를 구매하고 A버튼 불량에 당첨된 나는 동일한 증상으로 두번째 교환을 하기로 마음 먹는다. 교환, 교환, 교환 누군가 이야기 했다. A버튼 불량은 종특이라고. 정말인 것 같다. 두번째 이후로도 같은 증상으로 교환을 진행했다. 다른 교환 하하 A버튼만 괜찮으면 괜찮을거라고 생각한 내가 멍청이다. - 무선 연결 끊김 (자주, 간헐적등 다양) - 사망 (연결 끊김 증상이였는데 장치 인식도 안됨) - 진동 소음 - 그냥 귀가 아프게 소음이 발생하는 진동 - Xbox accssory 앱에서 실행하는 진동시 소음 - game pad tester 사이트에서 실행하는 진동시 소음 - 특정 버튼을 누르고 있으면 진동에 소음이 없는데, 떼면 시끄러운 소음 한계 첫 교환시에는 배송도 빨랐는데, 이제는 물건..