Fix incorrect handling of module runtime and environment pointers.

We used to store module runtime and environment pointers in the static
lists Vmodule_runtimes and Vmodule_environments.  However, this is
incorrect because these objects have to be kept per-thread.  With this
naive approach, interleaving module function calls in separate threads
leads to environments being removed in the wrong order, which in turn
can cause local module values to be incorrectly garbage-collected.

Instead, turn Vmodule_runtimes and Vmodule_environments into
hashtables keyed by the thread objects.  The fix is relatively
localized and should therefore be safe enough for the release branch.

Module assertions now have to walk the pointer list for the current
thread, which is more correct since they now only find environments
for the current thread.

Also add a unit test that exemplifies the problem.  It interleaves two
module calls in two threads so that the first call ends while the
second one is still active.  Without this change, this test triggers
an assertion failure.

* src/emacs-module.c (Fmodule_load, initialize_environment)
(finalize_environment, finalize_runtime_unwind): Store runtime and
environment pointers in per-thread lists.
(syms_of_module): Initialize runtimes and environments hashtables.
(module_assert_runtime, module_assert_env, value_to_lisp): Consider
only objects for the current thread.
(module_gc_hash_table_size, module_hash_push, module_hash_pop): New
generic hashtable helper functions.
(module_objects, module_push_pointer, module_pop_pointer): New helper
functions to main thread-specific lists of runtime and environment
pointers.
(mark_modules): Mark all environments in all threads.

* test/data/emacs-module/mod-test.c (Fmod_test_funcall): New test
function.
(emacs_module_init): Bind it.

* test/src/emacs-module-tests.el (emacs-module-tests--variable): New
helper type to guard access to state in a thread-safe way.
(emacs-module-tests--wait-for-variable)
(emacs-module-tests--change-variable): New helper functions.
(emacs-module-tests/interleaved-threads): New unit test.

CC Mode: Fix error in cache handling.  This fixes bug #43481

* lisp/progmodes/cc-engine.el (c-full-pp-to-literal): Handle correctly END
being before HERE by using parse-partial-sexp to get the end of the literal
containing HERE.

Revert extra focus redirection in do_switch_frame (Bug#24803)

* src/frame.c (do_switch_frame): Do not also redirect frame
focus when FRAME has its minibuffer window on the selected
frame which was intended to fix Bug#24500.  It may cause
Bug#24803 and lead to a nasty state where no active cursor is
shown on any frame, see
https://lists.gnu.org/archive/html/emacs-devel/2020-11/msg01137.html.

Minor cleanup of tramp-tests.el on MS Windows

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process):
Do not test remote pty on MS Windows.

Fix handling of defcustom :local tag

For discussion, see the following emacs-devel thread:
https://lists.gnu.org/r/emacs-devel/2020-11/msg00734.html

* lisp/custom.el (custom-declare-variable): Delay call to
make-variable-buffer-local until after user option has been
initialized with a value.  Otherwise the user option may be
initialized to nil.
* test/lisp/custom-tests.el (custom--test-local-option)
(custom--test-permanent-option): New :local user options.
(custom-test-local-option): New test for defcustom :local keyword.

CC Mode.  Fix an off by one error.  Fixes bug #41809

* lisp/progmodes/cc-engine.el (c-full-pp-to-literal): Change > to >= (twice).

Fix display artifacts when 'display' properties cover newlines

* src/xdisp.c (pos_visible_p): Set glyph_row of scratch iterators
to NULL, to avoid producing glyphs while we figure out the layout.
(Bug#44826)

Sync latest SKK-JISYO.L

* leim/SKK-DIC/SKK-JISYO.L: Sync to current upstream version.

(cherry picked from commit 6a5f9700846551a7f3795e257356dbab865116f4)

Update publicsuffix.txt from upstream

* etc/publicsuffix.txt: Update from
https://publicsuffix.org/list/public_suffix_list.dat
dated 2020-10-09 08:23:34 UTC.

(cherry picked from commit 5b13afab0a903ead8363482529019d4fb80ec4b4)

Fix Bug#44481

* lisp/net/tramp.el (tramp-system-name): New defconst.
(tramp-default-host, tramp-restricted-shell-hosts-alist)
(tramp-local-host-regexp):
* lisp/net/tramp-sh.el (tramp-maybe-open-connection): Use it.  (Bug#44481)

Minor Edebug manual keystroke clarifications

* doc/lispref/edebug.texi (Edebug Misc): Also mention the `a'
binding to abort (bug#44697).  Also fix `d' function reference, and
add `P' reference.

(cherry picked from commit b613f25f97abf756101eaa2af90689a19c0b3350)

Make ignoring modifiers on IME input optional

By default, ignore modifier keys on IME input, but add
a variable to get back old behavior.
* src/w32fns.c (syms_of_w32fns): New variable
w32-ignore-modifiers-on-IME-input.
(w32_wnd_proc): Use it to ignore modifier keys when IME input is
used.  (Bug#44641)

* etc/NEWS: Announce the change and the new variable.

Ignore modifiers when processing WM_IME_CHAR messages

* src/w32fns.c (w32_wnd_proc): Ignore modifiers when processing
WM_IME_CHAR messages.

Improve documentation of 'font-spec'

* doc/lispref/display.texi (Low-Level Font):
* src/font.c (Ffont_spec): Document 'font-spec' keys that are
supported, but were undocumented.

Further doc fixes for dotimes about RESULT

* lisp/subr.el (dotimes): Be even more explicit about RESULT
(bug#16206).

(cherry picked from commit 5b0d8d0f288fd505ca90bd30df709a5e7ab540d6)

; * doc/misc/eshell.texi (Input/Output): Fix typo.

; * INSTALL: Correct a recent change.

Debian stopped including the major version number in the emacs package
name after version 25, so there is no 'emacs27-dbg' package.
We may as well drop this clause altogether, since Debian stable has
version 26.

No need to merge to master (where this information is in etc/PROBLEMS
in any case).

; * lisp/emacs-lisp/benchmark.el (benchmark-run): Fix docstring

; * lib-src/make-fingerprint.c: Update commentary.

Reformat argument commentary in etags.c

* lib-src/etags.c (pfnote, consider_token, C_entries): Resurrect
original format of comments to function arguments.

Make the invocation of combine-change-calls in comment-region valid

This fixes bug #44581.  The problem was that whitespace outside of the (BEG
END) region was being deleted, and this made the invocation of
combine-change-calls with (BEG END) invalid.

* lisp/newcomment.el (comment-region-default): Amend the second argument to
combine-change-calls.

* lisp/progmodes/cc-langs.el (c-<>-notable-chars-re): Fix wrong '-' in regexp

; Update the expected result files in test/manual/etags.

Update the various INSTALL files

* nt/INSTALL.W64:
* nt/INSTALL:
* INSTALL: Update the installation information, in particular the
fact that HarfBuzz is now preferred as the shaping library.

Don't leave lock files after 'replace-buffer-contents'

* src/editfns.c (Freplace_buffer_contents): Unlock the buffer's
file if no changes have been made.  (Bug#44303)

(cherry picked from commit a5867ddfbd721568005175bf6c725f7834b21ea4)

Fix input method translation near read-only text

* lisp/international/quail.el (quail-input-method): Don't disable
input method when the character after point has the read-only
property.  Suggested by Evgeny Zajcev <lg.zevlg@gmail.com>
(Bug#44466)

* doc/emacs/mule.texi (Input Methods): Document that input methods
are inhibited in read-only text.

Fix display of truncated R2L lines on TTY frames

* src/xdisp.c (extend_face_to_end_of_line): Use a while-loop, not
a do-while loop, to avoid appending an extra glyph at the end of a
line that is one character shorter than the window-width.  This is
needed to fix display of reversed glyph rows that are almost as
wide as the window, because append_space_for_newline already added
one space glyph.

Avoid crashes when a reversed glyph row starts with a composition

* src/dispnew.c (build_frame_matrix_from_leaf_window): Add an
assertion to prevent us from overwriting non-char glyphs with the
vertical border glyph.
* src/xdisp.c (extend_face_to_end_of_line): Account for one glyph
possibly inserted by append_space_for_newline.  (Bug#44506)
Remove a kludgey correction for an off-by-one error in column
counting, which is no longer needed.

; * .gitignore: src/fingerprint.c not generated since 2019-04-09.

Update information about refcards

* admin/release-process (refcards):
* admin/make-tarball.txt (refcards): Update information about
generating refcards and required TeX/LaTeX packages.

Avoid crashes in the daemon due to user interaction

* src/minibuf.c (read_minibuf): Avoid crashes in the daemon if the
init file invokes some kind of minibuffer interaction, by not
updating the selected frame if it's the initial frame.
(Bug#44583)

Some minor changes to Tramp, do not merge with master

* lisp/net/tramp.el (tramp-handle-directory-files)
(tramp-handle-directory-files-and-attributes):
* lisp/net/tramp-adb.el
(tramp-adb-handle-directory-files-and-attributes):
* lisp/net/tramp-rclone.el (tramp-rclone-handle-directory-files):
* lisp/net/tramp-sh.el (tramp-sh-handle-directory-files-and-attributes):
* lisp/net/tramp-smb.el (tramp-smb-handle-directory-files): Add _COUNT.
Make the functions forward compatible.

* lisp/net/tramp-gvfs.el (tramp-gvfs-enabled):
Increase `max-specpdl-size' temporarily.

* test/lisp/net/tramp-tests.el (tramp--test-share-p): New defun.
(tramp-test05-expand-file-name-relative): Use it.

Add more doc-view requirements

* lisp/doc-view.el: Add more requirements.

Fix undefined behavior when fetching glyphs from the display vector.

You can trigger this rather obscure bug by enabling selective display
if the second glyph in its display vector has an invalid face.  For
example, evaluate

(set-display-table-slot standard-display-table
                        'selective-display [?A (?B . invalid)])

and then enable selective display.

* src/xdisp.c (next_element_from_display_vector): Check whether next
glyph code is valid before accessing it.

Fix pcase rx form snag with '?' and '??' (bug#44532)

This is a regression from Emacs 26.
Reported by Phillip Stephani.

* lisp/emacs-lisp/rx.el (rx--pcase-transform): Process ? and ?? correctly.
* test/lisp/emacs-lisp/rx-tests.el (rx-pcase): Add test case.

(cherry picked from commit 575b0681d926463960fc00d1e33decaa71d5c956)

Update the doc-view header line

Avoid breaking Arabic shaping in 'window-text-pixel-size'

* src/xdisp.c (CHAR_COMPOSED_P): If the bidi_p flag is not set,
pass -1 to composition_reseat_it, so that the shaping engine will
figure out the directionality of the text.  This is important,
e.g., when using move_it_* functions in some context that is not
redisplay, such as 'window-text-pixel-size'.  (Bug#44521)

doc-view.el comment clarification

* lisp/doc-view.el: Make the commentary mention that it's not
limited to a narrow range of file formats (bug#44504).

Update erc documentation about C-c C-b

* doc/misc/erc.texi (Keystroke Summary): C-c C-b runs
erc-switch-to-buffer, which is implemented in terms of
read-buffer (bug#44498).

Fix 'uudecode-decode-region-internal' in multibyte buffers

* lisp/mail/uudecode.el (uudecode-decode-region-internal): Fix
inserting the decoded string into a multibyte buffer.  Optimize by
working with characters, not strings.  (Bug#44411)

Copyright-paperwork-exempt: yes

Fix 'send-string-to-terminal' writing very long strings

* src/dispnew.c (Fsend_string_to_terminal): Prevent partial writes
by blocking SIGIO while 'fwrite' runs.  (Bug#44320)

* lisp/subr.el (read-char-from-minibuffer): Doc fix.  (Bug#44451)

Merge branch 'emacs-27' of git.savannah.gnu.org:/srv/git/emacs into emacs-27

Fix documentation of 'windmove-swap-states-default-keybindings'

* doc/emacs/windows.texi (Window Convenience): Fix description of
'windmove-swap-states-default-keybindings' and related index
entry.  (Bug#44441)

Split windows evenly when 'min-margins' parameter was set (Bug#44483)

* lisp/window.el (split-window): Make new window inherit any
'min-margins' parameter from WINDOW so that horizontal splits
reliably produce windows of same width (Bug#44483).

Handle Cairo errors in ftcrfont_open

* src/ftcrfont.c (ftcrfont_open): Handle Cairo errors (bug#41627).

(cherry picked from commit 954a4decfcc8e41084789516773b22d0adc11d91)

Backport: Fix exiting the finder-commentary buffer

Do not merge to master.

* lisp/finder.el (finder-exit): Fix exiting the finder-commentary
buffer.  (Bug#44384)
(finder-buffer): New defconst.
(finder-list-keywords): Use above new defconst.

; * lisp/international/mule.el (define-coding-system): Doc fix.

* src/w32fns.c (Fw32_register_hot_key): Doc fix.  (Bug#44456)

Prevent redisplay from moving point behind user's back

* src/bidi.c (bidi_at_paragraph_end, bidi_find_paragraph_start):
Bind inhibit-quit to a non-nil value around calls to
fast_looking_at, to prevent breaking out of redisplay_window,
which temporarily moves point in buffers shown in non-selected
windows.  (Bug#44448)

Document that the :match function for a widget takes an external value

* doc/misc/widget.texi (Basic Types): Document what an external value
is.  Document that a :match function expects the value to be in the
external format.  (Bug#8717)

Don't render XML declaration of an HTML document (bug#44348)

* lisp/net/eww.el (eww--preprocess-html): Prevent converting the
left angle bracket in the sequence "<?" to an HTML entity.

Recover the contents of the schemas.xml file

* etc/schema/schemas.xml: Recover the file, which was apparently
(mostly) removed by mistake by commit 165f738382 (bug#42851).

Copyright-paperwork-exempt: yes

; * src/xdisp.c (display_string): Fix a typo in a comment.

Improve indexing of check-declare

* doc/lispref/functions.texi (Declaring Functions): Improve indexing.

; * lisp/autoinsert.el (auto-insert-alist): Fix texinfo URL.

The old texinfo domain seems to no longer be controlled by the GNU
project, starting at least as early as 2012.  See also:
https://web.archive.org/web/20120410044746/http://www.texinfo.org/

; Auto-commit of loaddefs files.

* doc/lispref/commands.texi (Key Sequence Input): Fix indexing.

(cherry picked from commit 41c4f337c8f798d4700dcd13b73ad4ccdb3257eb)

Updating docs with all special window prefix keys.

* doc/lispref/commands.texi (Key Sequence Input): Add documentation for
missing special window areas.  Explicitly call out window or frame.

(cherry picked from commit a105db13e11fd15cc72804bf33672122d1c3f2e1)

Improve reproducibility of generated -pkg.el files

* lisp/emacs-lisp/package.el (package-generate-description-file):
Don't include the full name of the source file in the header,
since that varies non-reproducibly according to the build directory.
https://bugs.debian.org/972861
Note that elpa.gnu.org's admin/archive-contents.el does this by hand
and already only includes the nondirectory part.

Make sure pixel sizes are zero when setting window size for ptys.

* sysdep.c (set_window_size): Initialize data to zero to avoid
passing any garbage from the stack to ioctl.

Fix failure of 'emacs --daemon' on Cygwin

* src/emacs.c (DAEMON_MUST_EXEC): Define unconditionally on
Cygwin, not just if HAVE_NTGUI is defined.  This fixes the failure
of 'emacs --daemon' to start on the non-w32 Cygwin builds.
(Bug#44285)

CC Mode: Only recognize foo (*bar) as a function pointer when followed by (

* lisp/progmodes/cc-engine.el (c-forward-over-decl-or-cast-1): (after CASE 2)
test variables got-suffix-after-parens and at-decl-end before invoking
c-fdoc-shift-type-backward.

Fix NEWS entry for fix of Bug#44080

* src/buffer.c (syms_of_buffer) <fill-column>: Improve doc string.

Don't skip empty lines when fitting mini frame to buffer (Bug#44080)

* lisp/window.el (fit-mini-frame-to-buffer,
window--resize-mini-frame, fit-frame-to-buffer,
fit-frame-to-buffer-1): By default, fit a mini frame without skipping its
buffer's leading or trailing empty lines.
* src/frame.c (resize-mini-frames): Update doc-string.
* lisp/cus-start.el (resize-mini-frames): Update for customize.
* doc/lispref/minibuf.texi (resize-mini-frames): Update description.

; * etc/tutorials/TUTORIAL.de: Fix grammar (Bug#44246)

Improve documentation of display-fill-column-indicator

* lisp/display-fill-column-indicator.el
(display-fill-column-indicator-mode): Mention the globalized
version in the doc string.

* doc/emacs/display.texi (Displaying Boundaries): Improve and
clarify the documentation of display-fill-column-indicator.
Suggest using the minor mode as the primary means for turning the
feature on.

* src/xdisp.c (syms_of_xdisp) <display-fill-column-indicator>
<display-fill-column-indicator-character>: Doc fix.  (Bug#44226)

* INSTALL: Mention efaq.texi for installation of intlfonts.

Use WebKit sandboxing

* src/xwidget.c (Fmake_xwidget): Enable sandboxing if WebKit 2.26
or later.  Do this early, as required for sandboxing (Bug#43071).
Co-authored-by: Qiantan Hong <qhong@mit.edu>
Copyright-paperwork-exempt: yes

Fix tramp-sh-handle-make-process; don't merge with master

* lisp/net/tramp-sh.el (tramp-sh-handle-make-process): Accept nil
COMMAND.  (Bug#44151)

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process):
Extend test.

Merge branch 'emacs-27' of git.sv.gnu.org:/srv/git/emacs into emacs-27

Fix an error in tramp-sh-handle-make-process.  Dont' merge with master

* lisp/net/tramp-sh.el (tramp-sh-handle-make-process): Don't use heredoc
script whent the argument contains a string.

Recommend lexical-binding in Coding Conventions

* doc/lispref/tips.texi (Coding Conventions, Library Headers):
Recommend using lexical-binding.

Avoid rare crashes while producing line numbers

* src/xdisp.c (maybe_produce_line_number): Prevent freeing of
realized faces for as long as we are using lnum_face_id and
current_lnum_face_id for producing glyphs.  (Bug#44111)

Improve documentation of 'Info-hide-note-references' in info.texi

* doc/misc/info.texi (Help-Xref): Improve the wording.
(Emacs Info Variables): Update the documentation of
'Info-hide-note-references'.  (Bug#44043)

* admin/release-process: Add note to update files from upstream.

(cherry picked from commit 86dd9d12aa5a273da2efd4ce8c6e35ae343f1494)

* lisp/info.el (Info-hide-note-references): Doc fix.  (Bug#44043)

Make lisp/progmodes/js.el dependent on CC Mode in the Makefile.

This will prevent version mismatches between compile time and runtime
versions.  This fixes bug #43037.

* lisp/Makefile.in: Make js.el dependent on cc-{defs,engine,mode}.elc.

Yet another fix for 'set-minibuffer-message'

* lisp/minibuffer.el (set-minibuffer-message): Handle the case of
separate minibuffer-only frame.  Suggested by Gregory Heytings
<ghe@sdf.org>.

Fix posn-at-x-y in builds --without-x

* src/keyboard.c (make_lispy_position): Don't exclude the
window_or_frame = frame case from TTY-only builds.  Reported by
Jared Finder <jared@finder.org>.

* doc/lispref/commands.texi (Click Events): Document the format of
POSITION in click events on the frame's internal border.

Clarify the seq-reduce documentation

* doc/lispref/sequences.texi (Sequence Functions): Ditto.

* lisp/emacs-lisp/seq.el (seq-reduce): Clarify the order of the
arguments (bug#43995).

Make tramp-completion-reread-directory-timeout obsolete (Bug#43932)

* doc/misc/tramp.texi (File name completion, Frequently Asked Questions):
Remove `tramp-completion-reread-directory-timeout'.  (Bug#43932)

* etc/NEWS: Mention tramp-completion-reread-directory-timeout as obsolete.

* lisp/net/tramp.el (tramp-completion-reread-directory-timeout):
Make it obsolete.

Fix 'message' when there's active minibuffer on another frame

* lisp/minibuffer.el (set-minibuffer-message): Don't reuse the
active minibuffer for displaying messages unless the active
minibuffer is on the same frame as the selected window.

Copyright-paperwork-exempt: yes

* lisp/emacs-lisp/easy-mmode.el (define-minor-mode): Doc tweak

Try and clarify the meaning of `init-value`.

(cherry picked from commit 46c0f28c0e4e212687e90ec0ecb239d994105a19)

A better fix for bug#43886

* src/xfaces.c (load_color2, Fcolor_distance): Revert last change.
* src/term.c (clear_tty_hooks): Don't clear defined_color_hook.

Avoid crashes when a theme is loaded with one frame suspended

* src/xfaces.c (load_color2, Fcolor_distance): Don't try to call
the frame's defined_color_hook if the frame is suspended.
(Bug#43886)

Removed an incorrectly placed extra word in the semantic docs

* doc/misc/semantic.texi (Parser code): Copy edit (bug#43861).

Copyright-paperwork-exempt: yes

Fix current-line hscrolling when overlays change

* src/xdisp.c (redisplay_internal): Disable "optimization 1" when
auto-hscrolling current line and we're redisplaying the selected
window.  (Bug#43835)

Extend tests for shell-command-dont-erase-buffer

* test/lisp/simple-tests.el
(simple-tests-shell-command-dont-erase-buffer): Extend test.

* test/lisp/net/tramp-tests.el
(tramp-test32-shell-command-dont-erase-buffer): Adapt test.  Tag
it :unstable.

Clarify what ``chrooted environment means'' for TRAMP

* doc/misc/tramp.texi (Frequently Asked Questions): Clarify what
``chrooted environment means'' for TRAMP (bug#43839).

; * src/xdisp.c (Fwindow_text_pixel_size): Doc fix.

Add missing full stop in MS-DOS processes documentation

* doc/emacs/msdos-xtra.texi (MS-DOS Processes): Minor copy edig
(bug#43820).

Fix merging of region face for non-ASCII characters

* src/xdisp.c (extend_face_to_end_of_line): Restore the correct
original face used by the iterator on this line, not the ASCII
face.  (Bug#43363)

Make drag and drop on NS open all URLs (bug#43470)

* lisp/term/ns-win.el (ns-drag-n-drop): Merge generic and copy
actions.

Co-authored-by: Daniel Martín <mardani29@yahoo.es>

Fix electric-buffer-list buffer selection

* lisp/ebuff-menu.el (electric-buffer-list): Ensure that point is
restored, which isn't always the case if
global-display-line-numbers-mode (bug#43755).  This enables
selecting buffers again.

; Fix many typos in symbols in docs and comments

* doc/misc/flymake.texi (Using Flymake): Fix a typo.  (Bug#43758)

Don't error if no GPG signing key configured

* lisp/gnus/mml-sec.el (mml-secure-epg-sign): Partially revert
"Make mml-secure-epg-sign bug out if we can't find an identity".
It causes signing to fail for people who have not set up
mml-secure-{smime,openpgp}-sign-with-sender, which is a regression
from Emacs-26 (Bug#40118).  In such a situation gpg will use its
default key.

Do not merge to master. On master Emacs will query the user.

2020-03-29  Michael R. Mauger  <michael@mauger.com>

       * lisp/progmodes/sql.el (sql-add-product): Re-correct argument
       spec.  Previous change was due to my mistake; I have
       resolved back to the prior behavior (Bug#39960).
       * test/lisp/progmodes/sql-tests.el (sql-test-add-product): Added
       test to insure I don't make the same mistake again.