Flock

💻 Sistem Gereksinimleri

Bileşenler	Minimum Gereksinimler
CPU	4
RAM	8+ GB
Storage	200 GB SSD

Gereklilikler

sudo apt-get update && sudo apt-get upgrade
sudo apt install curl git wget htop screen tmux build-essential jq make lz4 gcc unzip gcc clang cmake build-essential -y

sudo apt update && sudo apt install python3.10-venv python3-venv python3-pip
sudo apt-get update && sudo apt-get upgrade

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-1-Linux-x86_64.sh

bash Anaconda3-2023.07-1-Linux-x86_64.sh

NOT: sayfanın aşağısına gelip yes yazıp enterla nereye kurayım diye soracak enterla. bidaha yes yazıp enterlıyacağız sorunca

source ~/.bashrc

conda list

Not: son kodu girince uzunca bir liste cıkıcak kuruldu.

👷 Başlangıç

Aşama 1

• https://train.flock.io/stake adresine gidelim validator seçelim cüzdan bağladıktan sonra github bağlıyoruz. ve otomatik 30 adet geliyor zaten minimum stake miktarı bu

• görev seçiyoruz. 30fml yazıyoruz approve ettikten sonra stake ediyoruz uyarılarda gpu dior ama resimelrde göreceğiniz üzere cpu da destekliyor. sağda confir demenizde gerekiyor çıkan uyarıya

Aşama 2

• API keyimizi alalım sağ yukardan cüzdana tıkla api yazıyor tıklayıp api sayfasına geçelim ordaki bilgileri alalım ve bir metin belgesine kaydedelim

Aşama Misson imposible

• https://huggingface.co/ adresine gidip üye olalım. mail doğrulayalım

• Sağ menüden settinge gelin

• Access tokene gelin. sol menude

• Sağdaki seçenekten create token deyin yetkileri ayarlayın. ve oluşturun

• Cıkan keyi kaydedelim.

• Aşağıdaki yazanlar buyuk sunucuya kurulum yapacakalr içindir. lütfen dokumanın tamamını okuyun once.

• https://huggingface.co/mistralai/Mistral-7B-v0.3 adresine gidin agrre diyerek ana ekrande kullanım yetkisi alın.

• https://huggingface.co/google/gemma-7b adresine gidin agrre diyerek ana ekrande kullanım yetkisi alın.

• Mubarek uganda cumhurbaşkanı koruma görevlisi işe alım formu :D

Aşama 3

cd
git clone https://github.com/FLock-io/llm-loss-validator.git
cd llm-loss-validator

conda create -n llm-loss-validator python==3.10

NOT: yeni güncellenen paketler var yes diyelim

conda activate llm-loss-validator

pip install -r requirements.txt

NOT: aşağıya api keyimizi yazıyoruz. siteden aldığımız. ve Aşama Misson imposible uye olup hugginden aldığımız. flock io sitesinde stake etiğimizde sağda görev idsi yazıyor mesela resimde 10 görünüyor 10 yazıcan :D NOT: Aynı zamanda cihazın kalitesine göre 2 seçenek var. yüksek sistem neredeyse dedicate yarısından fazla güç kullanıyor modellerken

NOT: Screen içinde çalıştıralım. aşağıdaki kodla açıyoruz çıkarken ctrl+ad tekrar girmek için screen -r flock

screen -S flock

cd
cd llm-loss-validator
conda activate llm-loss-validator

Yüksek sistem

cd src

Açıklamakbash start.sh \
--hf_token BURAYA-HUGGİNG-KEY-YAZ \
--flock_api_key BURAYA-FLOCK-API-KEY-YAZ \
--task_id BURAYA-ID-YAZ \
--validation_args_file validation_config_cpu.json.example \
--auto_clean_cache False

Düşük sistem

cd src

Açıklamakbash start.sh \
--hf_token BURAYA-HUGGİNG-KEY-YAZ \
--flock_api_key BURAYA-FLOCK-API-KEY-YAZ \
--task_id BURAYA-ID-YAZ \
--validation_args_file validation_config_cpu.json.example \
--auto_clean_cache False \
--lora_only True

Flock servis olarak çalıştırma (Powered by MictoNode(Onur))

NOT: screen içinde çalışıyorsa gir durdur çık. NOT2: Alttaki kodlara gerek olmayabilir. Garanti olsun diye yazıldı.

Açıklamakcd
source ~/.bashrc
cd llm-loss-validator
conda activate llm-loss-validator

NOT: lütfen keyleri gerekli yerlere yazınız.

Açıklamaksudo tee /etc/systemd/system/flockd.service > /dev/null << EOF
[Unit]
Description=Flock Validator Service
After=network.target

[Service]
User=root
WorkingDirectory=/root/llm-loss-validator/src
Environment="PATH=/root/anaconda3/envs/llm-loss-validator/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
ExecStart=/bin/bash -c 'source /root/anaconda3/bin/activate llm-loss-validator && bash start.sh --hf_token BURAYA-HUGGİNG-KEY-YAZ --flock_api_key BURAYA-FLOCK-API-KEY-YAZ --task_id BURAYA-ID-YAZ --validation_args_file validation_config_cpu.json.example --auto_clean_cache True'
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable flockd
sudo systemctl start flockd

• log komutu;

sudo journalctl -u flockd -f

CC : https://github.com/Core-Node-Team/Flock.io/blob/main/Validator.md