Nginx+lua 实现调用.so文件

最近在和智能硬件部门一起，做一个室内定位的服务，该服务根据手机端传过来的beacon设备列表，根据一定的算法计算出具体的商场，并将商场ID和beason设备列表作为参数，调用.so文件中的计算方法，得出位置数据（坐标:x、y、z），返回给手机端。

因为服务对QPS要求比较高，并且都是纯查询操作，于是决定使用Nginx+lua+Redis的架构（该架构在公司内部已成主流，比较成熟）。下面我将对lua调用.so文件的方式，做一下介绍。

lua调用.so文件，主要有两种方式：
1.Lua直接调用动态链接库，具体可参考 技术分享 。
2.使用C写一个Wrapper。

鉴于第一种方式需要引入第三方工具包，并且效率不高，所以我们采用第二种方式来实现。具体实现过程如下：

1.编写业务代码，其中包括业务方法的封装器。

static int lua_Locate( lua_State* L )
{
  long handle = lua_tonumber( L, 1 );
  const char* beacon_rssi_json = lua_tostring( L, 2 );
 
  vector<RSSI_INFO> rssi_info_vec;
 
  FingerprintLocationServer* p = (FingerprintLocationServer*)handle;
 
  ConvertJson2CppRSSI( beacon_rssi_json, rssi_info_vec );
 
  double x;
  double y;
  float floor;
 
  p->UpdateBeaconSignalGetResult( rssi_info_vec, x, y, floor );
 
  lua_pushnumber(L,x);
  lua_pushnumber(L,y);
  lua_pushnumber(L,floor);
 
  return 3;
}
 
static const struct luaL_Reg myLib[] =  
{ 
  {"lua_Locate", lua_Locate}, 
  {NULL, NULL}    //数组中最后一对必须是{NULL, NULL}，用来表示结束   
}; 
 
int luaopen_mLualib(lua_State *L) 
{ 
  luaL_register(L, "FPCalc", myLib); 
  return 1;    // 把myLib表压入了栈中，所以就需要返回1 
}

其中，wapper函数的函数名有个命名规则，前缀为luaopen，后面就是lua中require的字符串，否则将会报类似于下面的异常：

lua entry thread aborted: runtime error: error loading module 'mLualib' from file '/var/wdd/wrs/webroot/intelligent_lua/mLualib.so':
  /var/wdd/wrs/webroot/intelligent_lua/mLualib.so: undefined symbol: _Z13lua_tolstringP9lua_StateiPm
stack traceback:
coroutine 0:
  [C]: in function 'require'
  /var/wdd/wrs/webroot/intelligent_lua/location.lua:18: in function...

另外，如果是.cpp文件，在luaopen_mylib一定要加 extern "C", 否则导出的函数会被重命名，切记切记! 关于extern "C"，请参考 extern "C" 用法解析。

2.Nginx配置文件中指定so包所在的文件夹。
lua_package_cpath '/var/wdd/wrs/webroot/intelligent_lua/?.so;;';

注意，这里有很多种配置方式，只要让lua能找到so文件即可，比如可以通过lua代码package.cpath来引入（参阅下面代码段）或者直接把so文件复制lua环境变量指定的目录里等。
package.cpath = '/usr/local/lib/lua/5.1/?.so;' --搜索so模块

如果未指定cpath或者cpath中找不到so文件，系统会报如下异常：

no file './mLualib.lua'
  no file '/usr/local/openresty/luajit/share/luajit-2.1.0-beta1/mLualib.lua'
  no file '/usr/local/share/lua/5.1/mLualib.lua'
  no file '/usr/local/share/lua/5.1/mLualib/init.lua'
  no file '/usr/local/openresty/luajit/share/lua/5.1/mLualib.lua'
  no file '/usr/local/openresty/luajit/share/lua/5.1/mLualib/init.lua'
  no file '/usr/local/openresty/lualib/mLualib.so'
  no file './mLualib.so'
  no file '/usr/local/lib/lua/5.1/mLualib.so'
  no file '/usr/local/openresty/luajit/lib/lua/5.1/mLualib.so'
  no file '/usr/local/lib/lua/5.1/loadall.so'
  no file '/var/wdd/wrs/webroot/intelligent_lua/mLualib.so'

3.lua代码中引入so包，并执行调用。

local FPCalc = require "mLualib"
 
local x, y, floor = FPCalc.lua_Locate(c_addr, umm_json)
 
ngx.log(ngx.ERR, "lua_Locate:end:返回结果:", "x=" .. x, " y=" .. y, " floor=" .. floor)

以上就是lua调用.so包全部过程了。

实际压测过程中，还发现了几个问题：

1.so包需要在运行环境上编译，不同的环境编译的so包不一定通用。比如我在mac上编译的so包，直接复制到生产环境（centos系统）就不能使用，需要在生产环境重新编译才可以。

2.编译so包单进程可以正常执行，但是多进程访问时异常，错误信息如下（目前这个问题还没有解决）。
2017/05/03 16:52:41 [notice] 14355#0: signal 17 (SIGCHLD) received
2017/05/03 16:52:41 [alert] 14355#0: worker process 14361 exited on signal 11
2017/05/03 16:52:41 [notice] 14355#0: start worker process 14427
2017/05/03 16:52:41 [notice] 14355#0: signal 29 (SIGIO) received
2017/05/03 16:52:41 [notice] 14427#0: sched_setaffinity(0x00000008)

2017-05-04 终于找到原因：
问题原因：进程在访问.so文件时，需要调用.so中一个初始化方法。这个方法负责初始内存等相关操作，每个进程需要单独调用（初始化）一次，而我所有进程只调用（初始化）了一次，导致部分未初始化的进程执行代码时异常。
解决方式：查到原因了，问题就好解决了，每个进程初始一次就好了。