BroadRouter

I-lock ang API key sa mga server mo gamit ang IP allow-list

Na-update

Idagdag sa allow-list ng account ang egress IPv4 o IPv6 address o CIDR range ng mga server mo, hanggang 32 entry. Mamanahin ng mga bagong key ang listahan maliban kung magpapasa ka ng allowed_ips sa paggawa ng key. 403 ang makukuha ng mga request mula sa ibang address, at umeepekto ang pagbabago sa allow-list o pag-revoke sa loob ng limang segundo.

Ang na-leak na key ang pinakakaraniwang dahilan kung bakit lumolobo ang API bill. Dalawang kontrol ang ibinibigay ng BroadNet Inference: IP allow-list at mabilis na pag-revoke.

Dalawang uri ng credential

Credential Gamitin para sa Ituring bilang
Inference key Mga model request sa /v1/* Lihim para sa isang app o agent
Portal credential Automation ng account: mga key, allowed IPs, pagbili Buong awtoridad sa account

Minsan lang ipinapakita ang dalawa. SHA-256 hash lang ang itinatago ng portal, kaya hindi na nito maipapakita ulit ang key. Isang taon mula sa paggawa ang tagal ng pay-as-you-go na inference key, at hanggang sampung live na key ang puwedeng hawakan ng isang account.

Mag-set ng allow-list

Sa account page, magdagdag ng isang IPv4 o IPv6 address o CIDR range kada linya, hanggang 32 entry. Ang walang lamang listahan ay nangangahulugang walang IP restriction. Minamana ng mga bagong key ang listahang ito ng account. Sa bawat API request, sinusuri ng edge ang client IP na iniuulat ng Cloudflare.

Para pamahalaan ang listahan ng account mula sa isang script, pinapalitan ito ng PUT /portal/allowed_ips sa isang call (kailangan ng portal credential).

Bigyan ang isang key ng sarili nitong listahan kapag ginawa mo ito gamit ang portal credential:

curl -X POST https://inference.broadnet.ai/portal/keys \
  -H "Authorization: Bearer $BROADNET_PORTAL_CREDENTIAL" \
  -H "Content-Type: application/json" \
  -d '{"label":"worker-1","allowed_ips":["203.0.113.7","198.51.100.0/24"]}'

Pinapalitan ng per-key na allowed_ips ang minanang listahan ng account para sa key na iyon. Minsan lang lalabas ang raw key sa response; itago ito agad.

Mabilis na i-revoke ang na-leak na key

Nire-revoke ng DELETE /portal/keys/{alias} ang isang pay-as-you-go key, at nire-revoke ng DELETE /portal/keys/hourly/{alias} ang isang hourly key (hindi ibinabalik ang orihinal na bayad sa pagbili). Pagkatapos ng pag-revoke o pagbabago sa allow-list, humihinto ang mga bagong request sa loob ng limang segundo.

curl -X DELETE https://inference.broadnet.ai/portal/keys/$KEY_ALIAS \
  -H "Authorization: Bearer $BROADNET_PORTAL_CREDENTIAL"

I-set ang KEY_ALIAS sa alias na nakikita para sa key sa account page o sa GET /portal/keys. Hindi ang lihim na key ang alias. Kung na-leak ang portal credential, i-revoke ito gamit ang DELETE /portal/credentials/{id}: kaya nitong gawin ang lahat ng kayang gawin ng account mo.

Troubleshooting

  • 403 mula sa server na nakalista na. Ang pampublikong egress address mo ang nakikita ng edge, hindi ang private IP ng server. Lumalabas ang mga server na nasa likod ng NAT gateway, proxy o load balancer gamit ang address ng device na iyon. Puwedeng lumabas sa IPv6 ang server na may IPv6 kahit IPv4 address lang nito ang inilista mo. Ilista ang address na talagang nilalabasan ng request, o isang CIDR range na sumasakop dito.
  • Hindi sinusunod ng bagong key ang listahan ng account. Pinapalitan ng per-key na allowed_ips array ang minanang listahan ng account para sa key na iyon. Tingnan kung ano ang ipinasa mo noong ginawa ito.
  • 409 key_limit_reached. May sampung live na key na ang account. I-revoke ang isang hindi mo na ginagamit.
  • Pumapasok pa rin ang mga request ilang segundo pagkatapos mag-revoke. Inaasahan ito nang hanggang limang segundo habang humahabol ang cache.

403 ang makukuha ng request mula sa address na wala sa listahan. Tingnan ang lahat ng error code ng BroadNet at kung kailan mag-retry. Para gawin ang una mong request gamit ang bagong key, sundan ang gabay sa OpenAI Python SDK. Ipinapaliwanag ng glossary entry tungkol sa IP allow-list ang konsepto sa pangkalahatan.

A metal key whose bow is shaped like curly braces { }, with the text "One API key. More possibilities."

Mga tanong

Paano ko lilimitahan ang LLM API key sa IP address ng server ko?

Idagdag ang pampublikong egress address ng server, o isang CIDR range, sa allow-list ng account sa account page ng BroadNet, o ipasa ang allowed_ips kapag ginawa mo ang key sa pamamagitan ng POST /portal/keys. Tinatanggihan nang may 403 ang mga request mula sa ibang address.

Hinaharangan ba ng walang lamang allow-list ang lahat?

Hindi. Ang walang lamang listahan ay nangangahulugang walang IP restriction, kaya gumagana ang key mula sa kahit anong address. Magdagdag ng kahit isang entry para i-on ang restriction.

Puwede ko bang gamitin ang inference key para gumawa ng ibang key?

Hindi. Mga /v1/* na model route lang ang natatawag ng inference key. Kailangan ng portal credential, na may buong awtoridad sa account, para gumawa at mag-revoke ng key, magpalit ng allowed IPs at bumili ng hourly key.

Gaano kabilis umeepekto ang pag-revoke ng na-leak na key?

Ayon sa docs ng BroadNet, humihinto ang mga bagong request sa loob ng limang segundo pagkatapos ng pag-revoke o pagbabago sa allow-list, dahil puwedeng manatili nang ganoon katagal ang mga desisyon sa authorization sa isang replicated cache.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity