LocalLLaMA

1 readers

1 users here now

Community to discuss about Llama, the family of large language models created by Meta AI.

founded 10 months ago

MODERATORS

communick@poweruser.forum

Any tips or reccomended 7b and 13b models casual and simple language? For non native speakers. (alien.top)

submitted 10 months ago by 3750gustavo@alien.top to c/localllama@poweruser.forum

2 comments fedilink hide all child comments

I am a brasilian and english is not my main language, up to now my solution to bring the text complexity dowm has been presets like ouroboros, with low repetition penalty(1.05 up to 1.1) with high temperature.

I find that some models with more human written training have simpler English, however i wanted some tips, like models or setting on oobabooga to bring down text complexity without having a overly repetitive erp or story.

Thank you for your comprehension.

you are viewing a single comment's thread
view the rest of the comments

[–] wweerl@alien.top 1 points 10 months ago

Fala, Bother! É, isso depende bastante do modelo, tem alguns mais simples, e alguns com linguagem mais difícil, mas na verdade a maioria é difícil mesmo, então acho melhor você fazer um prompt especifico para isso, por exemplo: "When chatting with USER, you are going to always speak an easy to understand English, don't exaggerate and don't use hard words" Algo assim... O segredo basicamente está no seu prompt inicial, ele é carro chefe do modelo e é você é quem escolhe o jeito que ele irá dirigir a conversa.

Sobre a temp e a repetição, é bom você ir testando pra ver qual fica mais entendível/adequado porque se você aumentar de mais ficará falando coisa aleatória (fora de contexto).