Erro ao tentar utilizar os modelos openai e ollama

[Robson Soares]

Estou fazendo a execução local e quanto tentei utilizar o class model openai recebi o seguinte erro:

RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}

Quanto tentei utilizar o ollama deu este erro:

ConnectError: [WinError 10061] No connection could be made because the target machine actively refused it

Traceback:
File "C:\Users\modificado\Python\Python312\Lib\site-packages\streamlit\runtime\scriptrunner\exec_code.py", line 88, in exec_func_with_error_handling
result = func()
^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 590, in code_to_exec
exec(code, module.__dict__)
File "C:\Users\modificado\projects\llms\projeto2.py", line 102, in <module>
resp = st.write_stream(model_response(user_query,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\streamlit\runtime\metrics_util.py", line 410, in wrapped_func
result = non_optional_func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\streamlit\elements\write.py", line 174, in write_stream
for chunk in stream: # type: ignore
^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\runnables\base.py", line 3261, in stream
yield from self.transform(iter([input]), config, **kwargs)
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\runnables\base.py", line 3248, in transform
yield from self._transform_stream_with_config(
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\runnables\base.py", line 2055, in _transform_stream_with_config
chunk: Output = context.run(next, iterator) # type: ignore
^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\runnables\base.py", line 3211, in _transform
yield from final_pipeline
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\output_parsers\transform.py", line 65, in transform
yield from self._transform_stream_with_config(
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\runnables\base.py", line 2019, in _transform_stream_with_config
final_input: Optional[Input] = next(input_for_tracing, None)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\runnables\base.py", line 1289, in transform
yield from self.stream(final, config, **kwargs)
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\language_models\chat_models.py", line 411, in stream
raise e
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_core\language_models\chat_models.py", line 391, in stream
for chunk in self._stream(messages, stop=stop, **kwargs):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_ollama\chat_models.py", line 663, in _stream
for stream_resp in self._create_chat_stream(messages, stop, **kwargs):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\langchain_ollama\chat_models.py", line 525, in _create_chat_stream
yield from self._client.chat(
File "C:\Users\modificado\Python\Python312\Lib\site-packages\ollama\_client.py", line 80, in _stream
with self._client.stream(method, url, **kwargs) as r:
File "C:\Users\modificado\Python\Python312\Lib\contextlib.py", line 137, in __enter__
return next(self.gen)
^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_client.py", line 880, in stream
response = self.send(
^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_client.py", line 926, in send
response = self._send_handling_auth(
^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_client.py", line 954, in _send_handling_auth
response = self._send_handling_redirects(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_client.py", line 991, in _send_handling_redirects
response = self._send_single_request(request)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_client.py", line 1027, in _send_single_request
response = transport.handle_request(request)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_transports\default.py", line 235, in handle_request
with map_httpcore_exceptions():
File "C:\Users\modificado\Python\Python312\Lib\contextlib.py", line 158, in __exit__
self.gen.throw(value)
File "C:\Users\modificado\Python\Python312\Lib\site-packages\httpx\_transports\default.py", line 89, in map_httpcore_exceptions
raise mapped_exc(message) from exc

 

 

[Robson Soares]

Complementando: sobre o openai foi minha primeira execução, então não entendi porque deu este erro de exceder a quota.

Estou utilizando uma conta gratuita.

[Gabriel Alves]

Olá Robson!

Esse aviso aparece porque para usar a API da OpenAI é necessário pagar pelo uso, eles não oferecem mais uso gratuito através desse modo.
Para acessar as informações de cobrança e adicionar um método de pagamento para acessar a API, visite https://platform.openai.com/settings/organization/billing/overview

Dá para começar com apenas U$5,00, o que parece pouco mas só isso já garante bastante uso mesmo. Consulte a página https://openai.com/api/pricing/ para verificar quantos centavos de dólar são necessários para cada milhão de tokens processados.

Lembrando que o método com o Hugging Face Hub mostrado no curso é gratuito, então pode usar ele para começar caso se sinta mais confortável, e depois que estiver com sua aplicação devidamente testada e ajustada você pode escolher uma opção paga como a Open AI.

 

Quanto a esse erro com o Ollama, pode ocorrer por vários motivos, mas geralmente é devido a alguma etapa na instalação e configuração ou até mesmo alguma configuração no sistema operacional e que bloqueia a conexão.

Ao seguir a aula “Execução local com Ollama”, apareceu algum erro para você?

Experimente abrir novamente o terminal conforme mostrado em aula, e execute ollama run phi3 (ou o outro modelo que estiver querendo usar) e após terminar de rodar o processamento no terminal volte a executar o código .py pelo VS code. E verifique também se o seu Ollama está atualizado e na versão mais recente.

 

[Autor]

Posts