បញ្ញាសិប្បនិម្មិតក្នុងឧបករណ៍
លំហ AI របស់អ្នក
អ្វីៗរួចរាល់សម្រាប់ដំណើរការក្នុងម៉ាស៊ីន — នៅពេលដែល Android engine ត្រូវបានភ្ជាប់។
ការមើលជាមុនលើវេបសាយនេះមិនដំណើរការ GGUF ឬផ្តល់សេវា API ទេ។ ម៉ាស៊ីន llama.cpp, សេវាកម្ម Android និងការផ្ទុក native ត្រូវតែរួមបញ្ចូលនៅក្នុងគម្រោង Capacitor។
ទិដ្ឋភាពទូទៅ
ស្ថានភាពពេលវេលាជាក់ស្តែងនៃឧបករណ៍នេះ
ម៉ូដែលរបស់អ្នកនឹងបង្ហាញនៅទីនេះ បន្ទាប់ពីត្រូវបានបន្ថែម។
មិនទាន់មានសកម្មភាពនៅឡើយទេ
ការសន្ទនាឯកជន
ជជែក
សន្ទនាជាមួយម៉ូដែលដែលដំណើរការនៅលើឧបករណ៍ផ្ទាល់។
បណ្ណាល័យក្នុងម៉ាស៊ីន
ម៉ូដែល
គ្រប់គ្រងឯកសារ GGUF ដែលអ្នកចង់ប្រើជាមួយ LocalMind។
ការមើលជាមុនអាចអានឈ្មោះ និងទំហំនៃឯកសារដែលបានជ្រើសរើស ប៉ុន្តែមិនអាចចម្លងវាទៅកាន់ការផ្ទុកអចិន្ត្រៃយ៍ ឬផ្ទុកវាទៅក្នុង llama.cpp បានទេ។ លើ Android សូមភ្ជាប់ document selector និង native bridge។
មិនមានម៉ូដែលណាមួយត្រូវបានជ្រើសរើសជាលំនាំទេ។
បណ្ណាល័យរបស់អ្នកចាប់ផ្តើមនៅទីនេះ
សូមបន្ថែមឯកសារ .gguf ដើម្បីរៀបចំការប្រមូលរបស់អ្នក។ ការសន្និដ្ឋានត្រូវការការរួមបញ្ចូល llama.cpp ដើម។
ការមើលឃើញប្រព័ន្ធ
ប្រសិទ្ធភាព
ម៉ែត្រិកជាក់ស្តែងនឹងត្រូវបានបង្ហាញ នៅពេលដែលផ្តល់ឱ្យដោយម៉ាស៊ីន native។
ការមើលជាមុនក្នុង browser មិនមានសិទ្ធិចូលប្រើ RAM នៃ process, បន្ទុក CPU ឬរង្វាស់ផ្ទៃក្នុងរបស់ llama.cpp នោះទេ។ គ្មានការប៉ាន់ស្មានណាមួយនឹងត្រូវបានបង្ហាញជារង្វាស់ឡើយ។
គោលដៅអង្គចងចាំមិនមែនជាការធានាទេ៖ ការប្រើប្រាស់ប្រែប្រួលទៅតាមម៉ូដែល, context, cache និងប្រព័ន្ធប្រតិបត្តិការ។
ការចូលប្រើក្នុងបណ្តាញមូលដ្ឋាន
ម៉ាស៊ីនមេ API
ប្រើទូរសព្ទរបស់អ្នកជា endpoint ក្នុងស្រុកសម្រាប់កម្មវិធីដែលប្រើ Wi-Fi តែមួយ។
ម៉ាស៊ីនមេពិតប្រាកដដែលអាចចូលបានតាមបណ្តាញតម្រូវឱ្យមានសេវាកម្ម Android foreground, ការអនុញ្ញាតបណ្តាញ និងការរួមបញ្ចូលជាមួយ engine។ ទំព័រនេះមិនបើកច្រកបណ្តាញ (network port) នោះទេ។
សូមប្រើច្រកចន្លោះពី 1024 ដល់ 65535។
ការចូលប្រើប្រាស់ដែលត្រូវបានការពារ
រាល់ការស្នើសុំត្រូវតែរួមបញ្ចូលសោនៅក្នុង Authorization: Bearer header។ កុំបើក endpoint ដោយគ្មានការផ្ទៀងផ្ទាត់សព្វടെ។
កូនសោដែលបង្កើតនៅទីនេះត្រូវបានរក្សាទុកក្នុងកម្មវិធីនេះ។ ការមើលជាមុនមិនអាចផ្ទៀងផ្ទាត់សំណើបានទេ ប្រសិនបើគ្មានសេវាកម្ម native។
curl http://IP_DO_CELULAR:8080/v1/chat/completions \
-H "Authorization: Bearer SUA_CHAVE" \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Olá!"}]}'ឧទាហរណ៍នឹងដំណើរការ លុះត្រាតែអ្នករួមបញ្ចូល និងចាប់ផ្តើមសេវាកម្ម HTTP native ជាមួយនឹងម៉ូដែលដែលបានផ្ទុក។
