용바오의 연구실

JGI (Jaypyon General Intelligence)

トップ > 인공지능 > On-Premise sLLM 개발 환경 구축 간 발생한 에러 정리

On-Premise sLLM 개발 환경 구축 간 발생한 에러 정리

인공지능

no module named ' _ctypes'

libffi-devel 패키지가 없기 때문에 발생하는 오류입니다.

sudo yum install libffi-devel

그 후, Python을 다시 make altinstall 하면 해결 완료.

sudo make altinstall

no module named ' _sqlite3'

Solution.

sudo yum install sqlite-devel

패키지가 없기 때문에 발생하는 오류입니다. 그 후, Python을 다시 make altinstall 하면 해결 완료.

torch 사용불가 - libnccl 관련 에러 전반

dnf config-manager --add-repo http://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo
yum download libnccl libnccl-devel libnccl-static

그 후, Python을 다시 make altinstall 하면 해결 완료.

sudo make altinstall

ctransformers 사용 불가 - glibc 관련 에러 전반

링크 : http://ftp.gnu.org/gnu/glibc/ 여기에서 자신에게 맞는 버전을 선택 및 다운로드

  1. 다운로드한 소스 코드 패키지를 압축 해제합니다.

tar xvf glibc-2.29.tar.gz
  1. 압축 해제된 디렉토리로 이동합니다.
cd glibc-2.29
  1. 빌드 디렉토리를 생성하고 그 안으로 이동합니다(소스 디렉토리 바깥에 빌드 디렉토리를 만드는 것이 권장됩니다).
mkdir build cd build
  1. configure 스크립트를 실행하여 시스템에 맞게 glibc를 설정합니다. 여기서 prefix는 새 glibc 설치 위치를 지정합니다. 기존 시스템 라이브러리를 덮어쓰지 않도록 주의해야 합니다.
../configure --prefix=/opt/glibc-2.29
  1. make를 사용하여 빌드합니다.
make -j$(nproc)
  1. 선택적으로, make check를 실행하여 테스트 스위트를 실행할 수 있습니다. 이 단계는 시간이 많이 소요될 수 있습니다.
make check
  1. make install을 사용하여 지정된 위치에 설치합니다.
make install
  1. 기타 - python을 못찾을 경우
# sudo ln -s /usr/bin/python3.8 /usr/bin/python
# sudo ln -s /usr/bin/python3.8 /usr/bin/python3
  1. 설정을 환경변수에 적용
# vim ~/.bashrc
LD_LIBRARY_PATH=/usr/local/glibc-2.29/lib:$LD_LIBRARY_PATH 
# export LD_LIBRARY_PATH 
# source ~/.bashrc

ctransformers[cuda]를 사용하기 위해서 세팅 중

        pip uninstall ctransformers
        git clone https://github.com/marella/ctransformers
        cd ctransformers
        CMAKE_ARGS="-DCT_CUBLAS=ON -DCT_INSTRUCTIONS=avx" pip install .

CUDA 경로가 없을 때

Tell CMake where to find the compiler by setting either the environment
variable "CUDACXX" or the CMake cache entry CMAKE_CUDA_COMPILER to the full
path to the compiler, or to the compiler name if it is in the PATH.

cmake가 CUDA 컴파일러를 찾지 못해서 발생한는 에러이다.

export CUDA_HOME=/usr/local/cuda 
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64 
export PATH=$PATH:$CUDA_HOME/bin

auto_gptq를 사용하기 위해서 세팅

no module named ' _bz2'

sudo yum install bzip2-devel

그 후, Python을 다시 make altinstall 하면 해결 완료.

sudo make altinstall

no module named ' _lzma'

sudo yum install xz-devel

그 후, Python을 다시 make altinstall 하면 해결 완료.

sudo make altinstall

partially initialized module 'datasets' has no attribute 'utils'

주피터 노트북과 병용 불가. 주피터 노트북 사용 중지시 사용 가능함.

ModuleNotFoundError: No module named 'triton.language'

triton의 버전이 2.2.0이어서 발생 triton 2.1.0으로 다운그레이드