<div dir="auto">So at the moment, I don't think Juju supports what you're looking for, which is cross model relations without public addresses. We've certainly discussed supporting all private for cross model. The main issue is that we often drive parts of the firewalls (security groups) but without understanding all the routing, it is hard to be sure whether things will actually work.<div dir="auto"><br></div><div dir="auto">I do believe the intended resolution is to use juju relate --via X, and then X can be a space that isn't public. I'm pretty sure we don't have everything wired up for that yet, and we want to make sure we can get the current steps working well.</div><div dir="auto"><br></div><div dir="auto">The very first thing I noticed in your first email was that charms should *not* be aware of spaces. The abstractions for charms are around their bindings (explicit or via binding their endpoints). The goal of spaces is to provide human operators a way to tell charms about their environment. But you shouldn't ever have to change the name of your space to match the name a charm expects.</div><div dir="auto"><br></div><div dir="auto">So if you do 'network-get BINDING -r relation' that should give you the context you need to coordinate your network settings with the other application. The intent is that we give you the right data so that it works whether you are in a cross model relation or just related to a local app.</div><div dir="auto"><br></div><div dir="auto"><div data-smartmail="gmail_signature" dir="auto">John<br>=:-></div></div><br><div class="gmail_extra" dir="auto"><br><div class="gmail_quote">On Oct 13, 2017 19:59, "James Beedy" <<a href="mailto:jamesbeedy@gmail.com">jamesbeedy@gmail.com</a>> wrote:<br type="attribution"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I can give a high level of what I feel is a reasonably common use case.<br></div><div><br></div><div>I have infrastructure in two primary locations; AWS, and MAAS (at the local datacenter). The nodes at the datacenter have a direct fiber route via virtual private gateway in us-west-2, and the instances in AWS/us-west-2 have a direct route  via the VPG to the private MAAS networks at the datacenter. There is no charge for data transfer from the datacenter in and out of us-west-2 via the fiber VPG hot route, so it behooves me to use this and have the AWS instances and MAAS instances talk to each other via private address.    </div><div><br></div><div>At the application level, the component/config goes something like this:</div><div><br></div><div>The MAAS nodes at the data center have mgmt-net, cluster-net, and access-net, interfaces defined, all of which get ips from their respective address spaces from the datacenter MAAS. </div><div><br></div><div>I need my elasticsearch charm to configure elasticsearch such that elasticsearch <-> elasticsearch talk on cluster-net, web server (AWS instance) -> elasticsearch to talk across the correct space for the AWS instance, and the access-net space for the MAAS instance (I'm thinking this is where bindings and '--via' might come in handy).</div><div><br></div><div>(I know the openstack charms have to make similar network mitigation, for which they use the bindings, I must just be looking at it backwards, or not looking into network bindings which are the key here I think) </div><div><br></div><div>For example, my web server charm in AWS will be deployed to a NAT space/subnet, and will only get a private ip from the AWS subnet. It needs to give the ip to elasticsearch (deployed in MAAS), and to a loadbalancer (deploy to different model and space in the same AWS VPC) - this all seems like there should be no issues with getting it to happen because the web server charm only has a single ip address to be handing out, but what I'm after here is a consistent way to be able to retrieve this information at the charm level - but I think what you are telling me is that if I use the functionality correctly, then I won't have to do any mitigating at the charm/network-get level.</div><div><br></div><div>Looks like I need to take a deeper dive into the network bindings at the charm level and see how that functionality fits into the bigger picture to make the whole picture make sense.<br></div><div><br></div><div>Thanks </div><div class="elided-text"><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I'd like to understand the use case you have in mind a little better. The<br>premise of the network-get output is that charms should not think about public<br>vs private addresses in terms of what to put into relation data - the other<br>remote unit should not be exposed to things in those terms.<br><br>There's some doc here to explain things in more detail<br><br><a href="https://jujucharms.com/docs/master/developer-network-primitives" rel="noreferrer" target="_blank">https://jujucharms.com/docs/ma<wbr>ster/developer-network-primiti<wbr>ves</a><br><br>The TL;DR: is that charms need to care about:<br>- what address do I bind to (listen on)<br>- what address do external actors use to connect to me (ingress)<br><br>Depending on how the charm has been deployed, and more specifically whether it<br>is in a cross model relation, the ingress address might be either the public or<br>private address. Juju will decide based on a number of factors (whether models<br>are deployed to same region, vpc, other provider specific aspects) and populate<br>the network-get data accordingly. NOTE: for now Juju will always pick the public<br>address (if there is one) for the ingress value for cross model relations - the<br>algorithm to short circuit to a cloud local address is not yet finished.<br><br>The content of the bind-addresses block is space aware in that these are<br>filtered based on the space with which the specified endpoint is associated. The<br>network-get output though should not include any space information explicitly -<br>this is a concern which a charm should not care about.<br><br><br>On 12/10/17 13:35, James Beedy wrote:<br>> Hello all,<br>><br>> In case you haven't noticed, we now have a network_get() function available<br>> in charmhelpers.core.hookenv (in master, not stable).<br>><br>> Just wanted to have a little discussion about how we are going to be<br>> parsing network_get().<br>><br>> I first want to address the output of network_get() for an instance<br>> deployed to the default vpc, no spaces constraint, and related to another<br>> instance in another model also default vpc, no spaces constraint.<br>><br>> {'ingress-addresses': ['107.22.129.65'], 'bind-addresses': [{'addresses':<br>> [{'cidr': '<a href="http://172.31.48.0/20" rel="noreferrer" target="_blank">172.31.48.0/20</a>', 'address': '172.31.51.59'}], 'interfacename':<br>> 'eth0', 'macaddress': '12:ba:53:58:9c:52'}, {'addresses': [{'cidr': '<br>> <a href="http://252.48.0.0/12" rel="noreferrer" target="_blank">252.48.0.0/12</a>', 'address': '252.51.59.1'}], 'interfacename': 'fan-252',<br>> 'macaddress': '1e:a2:1e:96:ec:a2'}]}<br>><br>><br>> The use case I have in mind here is such that I want to provide the private<br>> network interface address via relation data in the provides.py of my<br>> interface to the relating appliication.<br>><br>> This will be able to happen by calling<br>> hookenv.network_get('<interfac<wbr>e-name>') in the layer that provides the<br>> interface in my charm, and passing the output to get the private interface<br>> ip data, to then set that in the provides side of the relation.<br>><br>> Tracking?<br>><br>> The problem:<br>><br>> The problem is such that its not so straight forward to just get the<br>> private address from the output of network_get().<br>><br>> As you can see above, I could filter for network interface name, but thats<br>> about the least best way one could go about this.<br>><br>> Initially, I assumed the network_get() output would look different if you<br>> had specified a spaces constraint when deploying your application, but the<br>> output was similar to no spaces, e.g. spaces aren't listed in the output of<br>> network_get().<br>><br>><br>> All in all, what I'm after is a consistent way to grep either the space an<br>> interface is bound to, or to get the public vs private address from the<br>> output of network_get(), I think this is true for every provider just about<br>> (ones that use spaces at least).<br>><br>> Instead of the dict above, I was thinking we might namespace the interfaces<br>> inside of what type of interface they are to make it easier to decipher<br>> when parsing the network_get().<br>><br>> My idea is a schema like the following:<br>><br>> {<br>>     'private-networks': {<br>>             'my-admin-space': {<br>> 'addresses': [<br>> {<br>> 'cidr': '<a href="http://172.31.48.0/20" rel="noreferrer" target="_blank">172.31.48.0/20</a>',<br>> 'address': '172.31.51.59'<br>> }<br>> ],<br>> 'interfacename': 'eth0',<br>> 'macaddress': '12:ba:53:58:9c:52'<br>> }<br>>     'public-networks': {<br>>         'default': {<br>> 'addresses': [<br>> {<br>> 'cidr': 'publicipaddress/32',<br>> 'address': 'publicipaddress'<br>> }<br>> ],<br>> }<br>> 'fan-networks': {<br>> 'fan-252': {<br>> ....<br>> ....<br>>     }<br>> }<br>><br>> Where all interfaces bound to spaces are considered private addresses, and<br>> with the assumption that if you don't specify a space constraint, your<br>> private network interface is bound to the "default" space.<br>><br>> The key thing here is the schema structure grouping the interfaces bound to<br>> spaces inside a private-networks level in the dict, and the introduction of<br>> the fact that if you don't specify a space, you get an address bound to an<br>> artificial "default" space.<br>><br>> I feel this would make things easier to consume, and interface to from a<br>> developer standpoint.<br>><br>> Is this making sense? How do others feel?</blockquote></div></div>
<br>--<br>
Juju-dev mailing list<br>
<a href="mailto:Juju-dev@lists.ubuntu.com">Juju-dev@lists.ubuntu.com</a><br>
Modify settings or unsubscribe at: <a href="https://lists.ubuntu.com/mailman/listinfo/juju-dev" rel="noreferrer" target="_blank">https://lists.ubuntu.com/<wbr>mailman/listinfo/juju-dev</a><br>
<br></blockquote></div><br></div></div>