捕获与Apache负载均衡器和node / io.socket后端断开连接

2018-06-14 13:34:02

注意：我已经解决了大部分问题，但在“更新”部分中，我们仍然遇到了捕获断开连接的问题，如本文底部所述。

注2：根据要求，我发布了更完整的设置视图。请参阅本文底部的标题。

我试图在Apache中设置一个负载平衡器，但它不适用于socket.io。我的Apache代码如下所示：

<VirtualHost *:80>
        ServerAdmin webmaster@example.com
        ServerName jpl.example.com

        ProxyRequests off

        Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
        <Proxy "balancer://mycluster">
                BalancerMember "http://203.0.113.22:3000" route=1
                BalancerMember "http://203.0.113.23:3000" route=2
        </Proxy>

        ProxyPass "/test/" "balancer://mycluster/"
        ProxyPassReverse "/test/" "balancer://mycluster/"    

</VirtualHost>

socket.io出现问题

我面临的问题是，在后端我有一个node.js服务器，它在subdir1 / index.html和subdir2.index.html中使用socket.io连接进行长轮询。不幸的是，socket.io喜欢只从根目录运行：

http://203.0.113.22:3000/socket.io/

如果我尝试运行它，它无法找到它：

http://jpl.example.com/test/socket.io

我在服务器上的index.js文件的开始如下所示：

// Setup basic express server
var express = require('express');
var app = express();
var server = require('http').createServer(app);
var io = require('socket.io')(server);

部分我的/subdir1/index.html（也从服务器加载）最初看起来像这样：

<script src="/socket.io/socket.io.js"></script>
<script>
    var socket = io.connect();
    socket.on('notification', function (data) {

但是，当通过代理访问它时，我现在正在发生错误。错误是：

http://jpl.example.com/socket.io/socket.io.js 404 (Not Found)

我试图改变它到这个：

<script src="/test/socket.io/socket.io.js"></script>
<script src="http://code.jquery.com/jquery-latest.min.js"></script>
<script>
    var refresh_value = 0;
    var refresh_time = 0;
    //var socket = io.connect();
    var socket = io.connect('http://example.com/', {path: "/test/"});
    socket.on('notification', function (data) {

它不再给我一个错误，但没有迹象表明它正在与套接字进行通信。

我在这里做错了什么，以及如何才能使这个工作？

更新

我现在主要解决了使用的问题：

var socket = io.connect('http://example.com/', {path: "/test/socket.io"});

代替：

var socket = io.connect('http://example.com/', {path: "/test/"});

最终问题：

事情现在正在工作，但我仍然遇到以下问题：

大约需要一分钟才能检测到客户端已经关闭了一个页面。没有代理和Apache负载平衡器我没有这个问题。我尝试了各种方法，例如将KeepAlive设置为“no”，并使用以下命令修改本页顶部的VirtualHost：

        <Proxy "balancer://mycluster">
                BalancerMember "http://203.0.113.22:3000" route=1 max=128 ttl=300 retry=60 connectiontimeout=5 timeout=300 ping=2
                BalancerMember "http://203.0.113.23:3000" route=2 max=128 ttl=300 retry=60 connectiontimeout=5 timeout=300 ping=2
        </Proxy>

但是在它认识到客户已经离开该页面之前还需要大约一分钟的时间。我能做些什么来解决这个问题？

我的设置更完整的视图

根据要求，为了帮助诊断问题，我发布了一个更完整的设置视图。尽可能多地提供尽可能详细的信息，尽可能多地消除：

我目前的Apache文件：

<VirtualHost *:80>
    # Admin email, Server Name (domain name), and any aliases
    ServerAdmin webmaster@example.com
    ServerName jpl.example.com

    ProxyRequests off

    Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
    <Proxy "balancer://mycluster">
        BalancerMember "http://203.0.113.22:3000" route=1 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        BalancerMember "http://203.0.113.23:3000" route=2 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        ProxySet stickysession=ROUTEID
    </Proxy>

    <Proxy "balancer://myws">
        BalancerMember "ws://203.0.113.22:3000" route=1 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        BalancerMember "ws://203.0.113.23:3000" route=2 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        ProxySet stickysession=ROUTEID
    </Proxy>

    RewriteEngine On
    RewriteCond %{REQUEST_URI}  ^/test/socket.io                [NC]
    RewriteCond %{QUERY_STRING} transport=websocket        [NC]
    RewriteRule /(.*)           balancer://myws/$1 [P,L]

    ProxyPass "/test/" "balancer://mycluster/"
    ProxyPassReverse "/test/" "balancer://mycluster/"

</VirtualHost>

在每台服务器上都有一个节点安装。主要的index.js如下所示：

/************ Set Variables ******************/

// Setup basic express server
var express = require('express');
var app = express();
var server = require('http').createServer(app);
var io = require('socket.io')(server);
var port = process.env.PORT || 3000;
var fs                  = require('fs'),
    mysql               = require('mysql'),
    connectionsArray    = [],
    connection          = mysql.createConnection({
        host        : 'localhost',
        user        : 'myusername',
        password    : 'mypassword',
        database    : 'mydatabase',
        port        : 3306
    }),
    POLLING_INTERVAL = 5000;


server.listen(port, function () {
        console.log("-----------------------------------");
        console.log('Server listening at port %d', port);
});

// Routing
app.use(express.static(__dirname + "/public"));


/*********  Connect to DB ******************/
connection.connect(function(err) {
        if (err == null){
                console.log("Connected to Database!");
        }
        else {
                console.log( err );
                process.exit();
        }
});



/***********************  Looping *********************/

var pollingLoop = function () {

        var query = connection.query('SELECT * FROM spec_table'),
        specs = [];

        query
        .on('error', function(err) {
                console.log( err );
                updateSockets( err );
        })

        .on('result', function( spec ) {
                specs.push( spec );
        })

        .on('end',function(){
                pollingLoop2(specs);
        });

};

var pollingLoop2 = function (specs) {

        // Make the database query
        var query = connection.query('SELECT * FROM info_table'),
        infos = [];

        // set up the query listeners
        query
        .on('error', function(err) {
                console.log( err );
                updateSockets( err );
        })

        .on('result', function( info ) {
                infos.push( info );
        })

        .on('end',function(){
                if(connectionsArray.length) {
                        setTimeout( pollingLoop, POLLING_INTERVAL );
                        updateSockets({specs:specs, infos:infos});
                }
        });

};

/***************  Create new websocket ****************/
//This is where I can tell who connected and who disconnected.

io.sockets.on('connection', function ( socket ) {

        var socketId = socket.id;

        var clientIp = socket.request.connection.remoteAddress;

        var time = new Date();
        console.log(time);
        console.log("33[32mJOINED33[0m: "+ clientIp + " (Socket ID: " + socketId + ")");

        // start the polling loop only if at least there is one user connected
        if (!connectionsArray.length) {
                pollingLoop();
        }

        socket.on('disconnect', function () {
                var socketIndex = connectionsArray.indexOf( socket );

                var time = new Date();
                console.log(time);
                console.log("33[31mLEFT33[0m: "+ clientIp + " (Socket ID: " + socketId + ")");

                if (socketIndex >= 0) {
                        connectionsArray.splice( socketIndex, 1 );
                }
                console.log('    Number of connections: ' + connectionsArray.length);
        });

        connectionsArray.push( socket );
        console.log('    Number of connections: ' + connectionsArray.length);

});


/********* Function updateSockets ************/

var updateSockets = function ( data ) {

        connectionsArray.forEach(function( tmpSocket ){
                tmpSocket.volatile.emit( 'notification' , data );
        });

};

最后，在我的public / dir1 / index.html文件中，我看起来像这样：

//HTML code here
<script src="/test/socket.io/socket.io.js"></script>
<script>
    var socket = io.connect('', {path: "/test/socket.io"});
    socket.on('notification', function (data) {
            $.each(data.specs,function(index,spec){
                    //Other js code here
            })
    })
</script>
//More HTML code here

通过此特定设置，连接可以正常工作，但需要一分钟才能检测到页面已关闭。另外，通过这个设置，会有一个错误记录到控制台：

WebSocket connection to 'ws://jpl.example.com/test/socket.io/?EIO=3&transport=websocket&sid=QE5aCExz3nAGBYcZAAAA' failed: Connection closed before receiving a handshake response
ws @ socket.io.js:5325

我做错了什么，如何修复我的代码，以便在发生断断续续的时刻检测到断开连接？

注意：如果我不使用子目录/ test /，它工作得很好。

还请注意：这只是一个出现在URL中的子目录。它不存在于任何地方的文件系统中。

另外，如果您注意到我的代码中可能会写得更好的区域，我会接受提示和建议。

所以经过一些命中和试用后，我能够得到一个配置，它工作正常。所需的更改

服务器上的基本路径

您还需要使用服务器上的基本路径以使其更加流畅

var io = require('socket.io')(server, { path: '/test/socket.io'});

然后下面是我使用的更新的Apache配置

<VirtualHost *:8090>
    # Admin email, Server Name (domain name), and any aliases
    ServerAdmin webmaster@example.com

    ProxyRequests off

   #Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
   Header add Set-Cookie "SERVERID=sticky.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED

    <Proxy "balancer://mycluster">
        BalancerMember "http://127.0.0.1:3001" route=1 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        BalancerMember "http://127.0.0.1:3000" route=2 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        ProxySet stickysession=SERVERID
    </Proxy>

    <Proxy "balancer://myws">
        BalancerMember "ws://127.0.0.1:3001" route=1 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        BalancerMember "ws://127.0.0.1:3000" route=2 keepalive=On smax=1 connectiontimeout=10 retry=600 timeout=900 ttl=900
        ProxySet stickysession=SERVERID
    </Proxy>

    RewriteEngine On
    RewriteCond %{HTTP:Upgrade} =websocket [NC]
    RewriteRule /(.*) balancer://myws/$1 [P,L]

    RewriteCond %{HTTP:Upgrade} !=websocket [NC]
    RewriteRule /(.*)                balancer://mycluster/$1 [P,L]
    ProxyTimeout 3
</VirtualHost>

现在断开连接是立即的

我不熟悉Apaches mod_proxy，但我认为你的问题与你的路径有关。

我设置了一个小测试，看看我是否可以提供帮助（并且有一个游戏），在我的测试中，我将代理HTTP和ws流量到单个后端。这是你做什么加上websockets。

服务器（LXD容器）：

10.158.250.99是代理。

10.158.250.137是节点。

首先，在代理上启用apache mods：

sudo a2enmod proxy
sudo a2enmod proxy_http
sudo a2enmod proxy_wstunnel
sudo a2enmod proxy_balancer
sudo a2enmod lbmethod_byrequests

然后更改000-default.conf ：

sudo nano /etc/apache2/sites-available/000-default.conf

这是我在清除评论后使用的内容：

<VirtualHost *:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html

    ErrorLog ${APACHE_LOG_DIR}/error.log
    CustomLog ${APACHE_LOG_DIR}/access.log combined

    <Proxy balancer://mycluster>
        BalancerMember http://10.158.250.137:7779
    </Proxy> 

    ProxyPreserveHost On

    # web proxy - forwards to mycluser nodes
    ProxyPass /test/ balancer://mycluster/
    ProxyPassReverse /test/ balancer://mycluster/

    # ws proxy - forwards to web socket server
    ProxyPass /ws/  "ws://10.158.250.137:7778"

</VirtualHost>

上面的配置在做什么：

访问代理http://10.158.250.99它将显示默认的Apache页面。

访问代理http://10.158.250.99/test/它会将HTTP请求转发到http://10.158.250.137:7779 。

访问代理http://10.158.250.99/ws ，它将建立一个websocket连接到ws://10.158.250.137:7778然后通过隧道。

所以对于我的应用程序即时使用phptty，因为它使用HTTP和WS，它使用xterm.js前端连接到websocket http://10.158.250.99/ws在浏览器中提供一个tty。

这是一个全部工作的屏幕，使用我的LXDui电子应用程序来控制它。

在这里输入图像描述

因此，请根据我所尝试的内容来检查您的设置，看看它是否与众不同，在尝试将它们应用于您的想法之前，先试试看事情是如何工作的，总是很好。

希望能帮助到你。

我认为你的延迟问题来检测客户端已关闭的页面来自你的默认内核tcp keepalive配置你的代理apache节点。我认为在你的系统中，如果你检查sys.net.ipv4.tcp_keepalive_time的值，你可能会得到60的值，应该是在发送第一个keepalive数据包之前等待的60秒，以检测客户端是否关闭了连接。从你的问题的详细信息，mod_proxy看起来有问题，因为它似乎没有转发你没有mod_proxy模块正确管理的RST包。如果没有在mod_proxy上解决前向RST数据包问题，您可能只能通过将示例中的参数tcp_keepalive_time减少为5，以等待最多5秒钟之前开始检查tcp连接是否关闭，从而减少延迟。还要检查连接已关闭之前失败的keepalive探测参数的数量，它也可能影响总延迟。这是tcp_keepalive_probes参数。

链接地址: http://www.djcxy.com/p/41429.html

上一篇: Catching disconnects with Apache Load Balancer and node/io.socket backend

下一篇: Secret URL authentication with Firebase